[論文レビュー] Is poisoning a real threat to LLM alignment? Maybe more so than you think

Pankayaraj Pathmanathan, Souradip Chakraborty+3 more|arXiv (Cornell University)|Jun 17, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

この論文は、大規模言語モデル（LLM）のアライメントにおける直接的好み最適化（DPO）のデータ汚染攻撃に対する脆弱性を調査し、バックドア攻撃が訓練データのたった0.5%を汚染するだけで成功する可能性があることを示している。これはPPOベースの手法に比べて3–4%の汚染が必要な場合と比べて顕著に低い。攻撃はDPOスコアと影響分析を活用して、高い影響を持つ訓練例を特定し、DPOの教師あり学習定式化における深刻なセキュリティ的ギャップを露呈している。

ABSTRACT

Recent advancements in Reinforcement Learning with Human Feedback (RLHF) have significantly impacted the alignment of Large Language Models (LLMs). The sensitivity of reinforcement learning algorithms such as Proximal Policy Optimization (PPO) has led to new line work on Direct Policy Optimization (DPO), which treats RLHF in a supervised learning framework. The increased practical use of these RLHF methods warrants an analysis of their vulnerabilities. In this work, we investigate the vulnerabilities of DPO to poisoning attacks under different scenarios and compare the effectiveness of preference poisoning, a first of its kind. We comprehensively analyze DPO's vulnerabilities under different types of attacks, i.e., backdoor and non-backdoor attacks, and different poisoning methods across a wide array of language models, i.e., LLama 7B, Mistral 7B, and Gemma 7B. We find that unlike PPO-based methods, which, when it comes to backdoor attacks, require at least 4\% of the data to be poisoned to elicit harmful behavior, we exploit the true vulnerabilities of DPO more simply so we can poison the model with only as much as 0.5\% of the data. We further investigate the potential reasons behind the vulnerability and how well this vulnerability translates into backdoor vs non-backdoor attacks.

研究の動機と目的

• DPOベースのLLMアライメントが訓練時汚染攻撃に対してどれほど感受性を示すか、特にPPOベースの手法と比較して調査すること。
• さまざまなデータ選択基準の下で、DPOに適用されるバックドアおよび非バックドア攻撃の有効性を分析すること。
• 異なるLLMアーキテクチャ（Llama 7B、Mistral 7B、Gemma 7B）間での影響力のある訓練ポイントの転送可能性を評価し、ブラックボックス攻撃の可能性を検討すること。
• PPOのより複雑な二段階訓練プロセスと対照的に、DPOがなぜ選択的汚染に対してより脆弱であるかを理解すること。
• 影響分析とDPOスコアを用いて、極めて効果的で低データの汚染攻撃を実現可能かどうかを検討すること。

提案手法

• DPOスコアに基づいて訓練例を選択するホワイトボックス汚染フレームワークを提案し、アライメント目的の標的的操作を可能にする。
• 3つのデータ選択戦略（ランダム、DPOスコアベース、勾配プロジェクションベース）を導入し、さまざまなモデルにおける汚染効果を評価する。
• 影響関数分析を用いて、モデル行動に最大の影響を与える訓練ポイントを特定し、効率的な攻撃構築を可能にする。
• 選択された回答と拒否された回答の間の好みスコアの差を最大化するDPOスコアベースの手法を採用し、攻撃効果を強化する。
• バックドアトレガーと非バックドアの指示操作の両方を用いて、3つのLLM（Llama 2 7B、Mistral 7B、Gemma 7B）に対して攻撃を評価する。
• 攻撃の成功度を標的の有害応答生成によって測定し、異なるモデル間での影響力のあるポイントの転送可能性を評価する。

Figure 1: Overview of the analysis on DPO’s vulnerabilities. We consider two types of attacks (Backdoor, Non Backdoor). When performing these attacks we poison the model using 4 different poisoning methods namely random, DPO score based (Section. 3.2 ), DPO score + semantic diversity based (Section

実験結果

リサーチクエスチョン

• RQ1 DPOベースのアライメントは、訓練データの極めて少数を汚染するだけで効果的に汚染可能であり、PPOベースの手法と比べてどの程度効果的か？
• RQ2 DPOスコアベースのデータ選択戦略は、ランダムまたは勾配ベースの方法と比較して、汚染効率においてどの程度優れているか？
• RQ3 影響力のある訓練ポイントは、異なるLLMアーキテクチャ間でどの程度転送可能か？ブラックボックス攻撃の可能性を考慮する。
• RQ4 PPOのより複雑な二段階訓練プロセスと対照的に、DPOがなぜ選択的汚染に対してより脆弱であるのか？
• RQ5 選択的汚染を用いた非バックドア攻撃はどの程度実現可能か？成功するにはどの程度のデータ割合が必要か？

主な発見

• DPOにおけるバックドア攻撃は、訓練データのたった0.5%を汚染するだけで成功する。これはPPOベースの手法に比べて3–4%の汚染が必要な場合と比べて顕著に低い。
• DPOスコアベースの汚染手法は、ランダム法や勾配プロジェクションベース法を上回り、極めて少ないデータ注入で高い攻撃成功率を達成する。
• DPOスコアを用いて特定された影響力のあるポイントは、モデル間で測定可能な重なりを示す。特にMistral 7BとGemma 7Bの間で顕著で、転送可能攻撃の可能性を示している。
• 非バックドア攻撃は、影響力に基づく選択的サンプリングでさえも、最大で25%のデータ汚染を必要とし、現実世界の設定では実用的でないことが示された。
• DPOスコアベースの手法は、完全な勾配ベースの攻撃と同等の性能を達成しており、DPOの目的関数に内在する脆弱性を効果的に利用していると考えられる。
• その単純さにもかかわらず、DPOの教師あり学習定式化には、PPOに存在しない深刻なセキュリティ的弱みが存在し、標的的で低データの汚染攻撃に対してより脆弱である。

Figure 2: Four types of poisoning are covered in this work. All of the methods except for random poisoning get a white box feedback from the LLM trained on the non-poisoned, clean data and use the information from those fine-tuned models (DPO score, DPO gradient) to choose points in a selective mann