[論文レビュー] HuRef: HUman-REadable Fingerprint for Large Language Models

Boyi Zeng, Wang, Lizheng+6 more|arXiv (Cornell University)|Dec 8, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、パラメータを公開せず、トレーニングに干渉しない大規模言語モデル（LLM）のベースアーキテクチャを一意に特定できる人間が読み取り可能な指紋、HuRefを提案する。微調整、強化学習による人間のフィードバック（RLHF）、継続的事前学習のあらゆる段階でも変化しない、事前学習完了後の安定したパラメータベクトル方向を活用し、3つの頑健な不変項を定義することで、StyleGAN2を用いて自然な画像指紋（例：いぬ）を生成する。この指紋は、微調整やRLHF、継続的事前学習後でも変化せず、直感的な視覚的識別と正確な定量的検証を両立できる。

ABSTRACT

Protecting the copyright of large language models (LLMs) has become crucial due to their resource-intensive training and accompanying carefully designed licenses. However, identifying the original base model of an LLM is challenging due to potential parameter alterations. In this study, we introduce HuRef, a human-readable fingerprint for LLMs that uniquely identifies the base model without interfering with training or exposing model parameters to the public. We first observe that the vector direction of LLM parameters remains stable after the model has converged during pretraining, with negligible perturbations through subsequent training steps, including continued pretraining, supervised fine-tuning, and RLHF, which makes it a sufficient condition to identify the base model. The necessity is validated by continuing to train an LLM with an extra term to drive away the model parameters' direction and the model becomes damaged. However, this direction is vulnerable to simple attacks like dimension permutation or matrix rotation, which significantly change it without affecting performance. To address this, leveraging the Transformer structure, we systematically analyze potential attacks and define three invariant terms that identify an LLM's base model. Due to the potential risk of information leakage, we cannot publish invariant terms directly. Instead, we map them to a Gaussian vector using an encoder, then convert it into a natural image using StyleGAN2, and finally publish the image. In our black-box setting, all fingerprinting steps are internally conducted by the LLMs owners. To ensure the published fingerprints are honestly generated, we introduced Zero-Knowledge Proof (ZKP). Experimental results across various LLMs demonstrate the effectiveness of our method. The code is available at https://github.com/LUMIA-Group/HuRef.

研究の動機と目的

• 微調整済みまたは継続的事前学習が施されたLLMのベースモデルを特定する課題に取り組むこと、特にパラメータが公開されない状況を想定する。
• 人間による直感的な識別と正確な定量的検証の両方が可能な方法を開発すること。
• SFT、RLHF、多言語対応の継続的事前学習を含む、多様なトレーニングプロトコルにおいても指紋が安定することを保証すること。
• 生成モデル（例：StyleGAN2）を用いて不変項を自然画像にマッピングすることで、指紋を人間が読み取り可能にする。
• モデルパラメータを公開する必要がないため、モデルのセキュリティおよびライセンス整合性を保つソリューションを提供すること。

提案手法

• 事前学習完了後に、LLM内の安定したパラメータベクトル方向を特定し、SFT や RLHF などの後続のトレーニングステップでも大きく変化しないことを確認する。
• Transformerアーキテクチャの構造的制約を分析することで、次元の入れ替えや行列回転といった一般的な重み再配置に対して耐性を持つ3つの不変項を定義する。
• これらの不変項を畳み込みエンコーダを用いてガウスノイズベクトルにマッピングし、画像生成を可能にする。
• 事前学習済みのStyleGAN2モデルが、ガウスベクトルを自然な画像指紋（例：いぬ）に変換し、視覚的にベースモデルを反映する。
• 指紋はLLM所有者によってモデルパラメータのみから生成され、公開された検証では重みではなく、不変項と画像のみを用いる。
• 本手法は、複数のLLM、特に微調整済みおよび継続的事前学習済みバージョンを含む、多様なトレーニング環境下で検証された。

実験結果

リサーチクエスチョン

• RQ1 LLMパラメータベクトルの方向は、さまざまなトレーニングプロセスにおいて、ベースモデルの安定的かつ信頼できる識別子として機能するか？
• RQ2 次元の入れ替えや行列回転といった一般的な重み改ざん攻撃に対して耐性を持つ不変項をどのように設計できるか？
• RQ3 指紋を人間が読み取り可能な形にできる程度はどの程度か？ ただし、一意性と安定性は維持する必要がある。
• RQ4 SFT、RLHF、および新しい言語の語彙拡張を伴う継続的事前学習後でも、指紋は不変のままであるか？
• RQ5 人間ユーザーは、視覚的指紋のみを用いて、ベースモデルを信頼性高く識別できるか？

主な発見

• 事前学習完了後に、LLMパラメータのベクトル方向は極めて安定しており、チェックポイント間のコサイン類似度が10k〜60kステップで56.23%から310k〜360kステップで94.25%に上昇するなど、強い収束を示している。
• 異なるグローバルランダムシードから訓練したモデル同士では、パラメータ方向が著しく異なり、不変項間のコサイン類似度が最小2.08%まで低下するなど、一意性が確認された。
• 人間被験者による実験では、指紋を照合することでベースモデルを識別する精度が94.74%に達し、優れた人間の読み取り可能性と直感的な視覚的識別性を示した。
• SFT、RLHF、および新しい言語語彙を用いた継続的事前学習後でも、指紋は不変であり、外観と不変項の両方が一貫して維持された。
• 微調整や適応が施されたモデルですら、明確に識別可能な視覚的指紋（例：いぬの画像）を生成でき、これは元のベースモデルを反映している。
• 次元の入れ替えや行列回転といった攻撃に対しても、不変項は安定しており、その変換下でも安定性が実証された。