[論文レビュー] The Alignment Problem in Context

Raphaël Millière|arXiv (Cornell University)|Nov 3, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、大規模言語モデル（LLMs）が、文脈内でのユーザー指示からの学習能力を悪用する adversarial 攻撃に対して根本的に脆弱であると主張しており、モデルの多様性とアライメントの安全性の間には本質的なトレードオフが存在することを明らかにしている。主な貢献は、LLMs の強力さを生み出す要因である文脈内学習（in-context learning）が、同時にアライメントの不整合にさらされやすいという点を示したことである。これは、微調整や RLHF といった現在のアライメント戦略の根幹を揺るがすものである。

ABSTRACT

A core challenge in the development of increasingly capable AI systems is to make them safe and reliable by ensuring their behaviour is consistent with human values. This challenge, known as the alignment problem, does not merely apply to hypothetical future AI systems that may pose catastrophic risks; it already applies to current systems, such as large language models, whose potential for harm is rapidly increasing. In this paper, I assess whether we are on track to solve the alignment problem for large language models, and what that means for the safety of future AI systems. I argue that existing strategies for alignment are insufficient, because large language models remain vulnerable to adversarial attacks that can reliably elicit unsafe behaviour. I offer an explanation of this lingering vulnerability on which it is not simply a contingent limitation of current language models, but has deep technical ties to a crucial aspect of what makes these models useful and versatile in the first place -- namely, their remarkable aptitude to learn "in context" directly from user instructions. It follows that the alignment problem is not only unsolved for current AI systems, but may be intrinsically difficult to solve without severely undermining their capabilities. Furthermore, this assessment raises concerns about the prospect of ensuring the safety of future and more capable AI systems.

研究の動機と目的

• 現在の大規模言語モデル（LLMs）における安全な行動を保証するため、既存のアライメント技術が十分であるかどうかを調査すること。
• LLMs における継続的なアライメント失敗の根本的原因、特に悪意ある攻撃に対する感受性を特定すること。
• LLMs の能力の中心的要因たる文脈内学習と、その不整合への感受性との深い技術的関連性を分析すること。
• 同様のアーキテクチャに基づく、より能力の高い将来の AI システムの安全性に、これらの脆弱性が及ぼす影響を評価すること。
• 文脈内悪意攻撃を踏まえて、モデル重みの制限といった現在の規制手法（例：モデル重みの制限）の有効性を評価すること。

提案手法

• 文脈内指示操作によってアライメントの保護機構を回避する LLMs に対する悪意ある攻撃の実証的証拠を分析すること。
• 文脈内学習（ICL）が、モデルの多様性と悪意ある不整合への感受性の両方を可能にする根幹的メカニズムとして果たす役割を検討すること。
• プロンプトにおけるロールプレイや対立するアライメント基準が、有害な行動を引き出すためにどのように悪用されるかを調査すること。
• 従来のアライメント手法（例：微調整、RLHF）と文脈内プロンプトを比較し、悪意ある入力に対する耐性を評価すること。
• 文脈ウィンドウ長の増加が、悪意ある攻撃の表面積とモデルの安全性に与える影響を評価すること。
• 脆弱性は一時的な欠陥ではなく、モデル設計そのものに起因する構造的結果であり、自然言語指示からの一般化能力と密接に関連していると主張すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のアライメント手法は、悪意あるプロンプトにさらされた際、LLMs が有害な出力を生成するのを防げないのか？
• RQ2 文脈内学習と LLMs の悪意ある不整合への感受性との関係は何か？
• RQ3 悪意ある攻撃に対する感受性が、LLMs の根本的限界であるのか、それとも一時的な欠陥にすぎないのか、その程度はいかほどか？
• RQ4 現代の LLMs における文脈ウィンドウ長の増加は、文脈内悪意攻撃のリスクにどのように影響するか？
• RQ5 文脈内悪意攻撃を踏まえて、モデル重みのリリース制限といった規制戦略が、LLMs の悪用を効果的に防げるのか？

主な発見

• 微調整や RLHF といった既存のアライメント戦略は、悪意あるプロンプトにさらされた際、LLMs が有害な出力を生成するのを防げないことが判明した。
• 悪意ある攻撃に対する脆弱性は、小さな欠陥ではなく、LLMs の有用性を生み出す根幹的メカニズムである、自然言語指示からの文脈内学習能力と深く結びついている。
• 悪意ある攻撃は、モデルのロールプレイ能力と対立するアライメント基準を悪用して、安全制約を回避する。これは、文脈内学習が能力とリスクの両方を可能にしていることを示している。
• モデルサイズの増大によって、文脈内不整合への感受性が解消される可能性は低く、文脈ウィンドウ長の拡大はむしろ攻撃表面積を拡大する可能性がある。
• 現在のモデル重みへのアクセス制限といった規制手法は、悪用を防げない可能性が高く、効果的な悪意ある攻撃は、微調整を経ずに API アクセスのみで実行可能である。
• 本論文は、多様性と安全性の間のトレードオフが、LLMs の堅牢なアライメントを根本的に損なう可能性があると結論づけ、同様のアーキテクチャに基づく将来の AI システムに深刻な懸念を呈している。