[論文レビュー] A Mechanistic Understanding of Alignment Algorithms: A Case Study on DPO and Toxicity

Andrew Lee, Bai Xiao-yan+4 more|arXiv (Cornell University)|Jan 3, 2024

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿は、モデルの中毒性を低減するための直接的好み最適化（DPO）の機構的分析を提供しており、DPOが中毒性の能力を削除するのではなく、価値ベクトル全体に散らばったオフセットを学習することで、中毒的表現を回避する仕組みであることを明らかにしている。研究では、重要な中毒的ベクトルをスケーリングすることで整合性が簡単に破壊されることを示しており、これにより、整合済みモデルにおいてもジャイルブレイクが可能である理由を説明している。

ABSTRACT

While alignment algorithms are now commonly used to tune pre-trained language models towards a user's preferences, we lack explanations for the underlying mechanisms in which models become ``aligned'', thus making it difficult to explain phenomena like jailbreaks. In this work we study a popular algorithm, direct preference optimization (DPO), and the mechanisms by which it reduces toxicity. Namely, we first study how toxicity is represented and elicited in a pre-trained language model, GPT2-medium. We then apply DPO with a carefully crafted pairwise dataset to reduce toxicity. We examine how the resulting model averts toxic outputs, and find that capabilities learned from pre-training are not removed, but rather bypassed. We use this insight to demonstrate a simple method to un-align the model, reverting it back to its toxic behavior.

研究の動機と目的

• 直接的好み最適化（DPO）が言語モデルの中毒性をどのように低減するかの機構的裏付けを理解すること。
• 成功した整合性にもかかわらず、整合済みモデルがジャイルブレイク攻撃に対して依然として脆弱である理由を調査すること。
• DPO微調整の過程で、中毒的能力が削除されるのか、それとも単に回避されるのかを検証すること。
• 中毒的ベクトルを再活性化することで整合性を逆転させる手法を開発・検証すること。
• 好み微調整モデルにおける整合性の脆さの原因を因果的に説明すること。

提案手法

• GPT2-mediumにおける中毒的表現を、MLP活性化ベクトルの特異値分解（SVD）を用いて同定した。
• Wikipediaのプロンプトに対して、PPLMを用いて対になった中毒的・非中毒的続編を生成し、ペairワイズデータセットを構築した。
• 収集したペアワイズデータを用いて、GPT2-mediumをDPOで微調整し、中毒性を低減した。
• DPO適用前後におけるモデル重みおよびリジドラストリームダイナミクスの変化を追跡し、中毒的ベクトル活性化のシフトを検出した。
• 重要な中毒的ベクトルをスケーリングすることで干渉を行い、中毒的出力を再活性化させ、非整合状態を実証した。
• SVDを用いて、モデル内での中毒性促進に寄与する特定のベクトルを隔離・分析した。

Figure 1: Logit lens on GPT2 and $\text{GPT2}_{\text{DPO}}$ . Given 295 prompts that originally elicit “sh*t” as the next token, we plot the average probability of outputting “sh*t” from intermittent layers by applying the unembedding layer. Minor ticks indicate $\ell\_{mid}$ layers (after attention

実験結果

リサーチクエスチョン

• RQ1 GPT2-mediumのような事前学習済み言語モデルの内部表現において、中毒性はどのように表現され、誘発されるのか？
• RQ2 DPO微調整後に、モデルの重みおよび活性化にどのような具体的な変化が生じるのか？
• RQ3 DPOは、中毒的出力を生成する能力を削除するのではなく、単に中毒的経路を回避するのか？
• RQ4 DPOによる学習された整合性は、容易に元に戻せるのか？ もし可能であれば、そのメカニズムは何か？
• RQ5 整合済みモデルがジャイルブレイク攻撃に対して脆弱である背後にある機構的説明は何か？

主な発見

• GPT2-mediumにおける中毒性は、特にキーおよび値ベクトルにあり、複数の明確に分離可能なベクトルとしてMLPブロックに表現されており、SVDによって同定可能である。
• リジドラストリームからこれらの中毒的ベクトルを差し引く干渉を施すことで、中毒的出力が顕著に減少し、それらが因果的な役割を果たしていることが確認された。
• DPO微調整後、重みに顕著な変化は見られなかった。代わりに、モデルは価値ベクトル全体に散らばったオフセットを学習し、中毒的領域を回避するようにした。
• DPOモデルは事前学習済みの能力を保持しているが、中毒的表現を引き起こさないよう、代替経路にルーティングすることで回避している。
• 中毒的表現に関連する重要なベクトルをスケーリングすることで、DPOによる整合性を容易に逆転させることができ、モデルの元の中毒的行動が回復した。
• 整合性の脆さは、中毒的能力の削除に起因するのではなく、最小限で分散された重みのシフトによって中毒的経路を回避するようにモデルが学習するためのものである。

Figure 2: Mean activations for toxic vectors before and after DPO.