[論文レビュー] Fundamental Limitations of Alignment in Large Language Models

Yotam Wolf, Noam Wies+3 more|arXiv (Cornell University)|Apr 19, 2023

Topic Modeling被引用数 43

ひとこと要約

本論文は Behavior Expectation Bounds (BEB) を導入し、確率的フレームワークにより、整列済みの LLM であってもプロンプトによって敵対的に非整列化され得ること、そして事前設定のプロンプトや多回対話でも完全には誤整列を防げないことを示す。

ABSTRACT

An important aspect in developing language models that interact with humans is aligning their behavior to be useful and unharmful for their human users. This is usually achieved by tuning the model in a way that enhances desired behaviors and inhibits undesired ones, a process referred to as alignment. In this paper, we propose a theoretical approach called Behavior Expectation Bounds (BEB) which allows us to formally investigate several inherent characteristics and limitations of alignment in large language models. Importantly, we prove that within the limits of this framework, for any behavior that has a finite probability of being exhibited by the model, there exist prompts that can trigger the model into outputting this behavior, with probability that increases with the length of the prompt. This implies that any alignment process that attenuates an undesired behavior but does not remove it altogether, is not safe against adversarial prompting attacks. Furthermore, our framework hints at the mechanism by which leading alignment approaches such as reinforcement learning from human feedback make the LLM prone to being prompted into the undesired behaviors. This theoretical result is being experimentally demonstrated in large scale by the so called contemporary "chatGPT jailbreaks", where adversarial users trick the LLM into breaking its alignment guardrails by triggering it into acting as a malicious persona. Our results expose fundamental limitations in alignment of LLMs and bring to the forefront the need to devise reliable mechanisms for ensuring AI safety.

研究の動機と目的

• 確率的フレームワークを用いて大規模言語モデル（LLMs）の整列の限界を正式化する。
• 整列が望ましくない振る舞いを減らすが排除しない場合、それは敵対的なプロンプティングに対して依然として脆弱であることを示す。
• プロンプト、事前設定の整列プロンプト、会話が非整列リスクにどのように影響するかを分析する。
• BEB パラメータと非整列ダイナミクスを示す実証的なサポートを LLaMA ファミリーに対して提供する。

提案手法

• BEB を定義して、挙動の垂直方向に沿った期待挙動スコアを定量化する。
• ill-behaved と well-behaved コンポーネントの混合として LLM 分布をモデル化し、これらのコンポーネントのプロンプト再重み付けを研究する。
• alpha, beta, gamma-distinguishability および sigma-similarity を導入し、プロンプティング下での非整列リスクを制限する。
• 定理を証明する。 adversarial prompts による非整列 (定理1)、事前設定の整列プロンプトによる非整列 (定理2)、対話環境での非整列 (定理3)。
• LLaMA-2 モデルと Perez らの振る舞いデータセットを用いて BEB パラメータ (beta, beta', sigma) の経験的推定を提供する。

Figure 1: Examples of sentence behavior scores along different behavior verticals. Our framework of Behavior Expectation Bounds (BEB) assumes ground truth behavior scoring functions, and bounds the expected scores of models along different behavior verticals in order to guarantee LLM alignment or mi

実験結果

リサーチクエスチョン

• RQ1 BEB の仮定の下で、整列済みの LLM が敵対的なプロンプトによって証明上非整列化されうるか？
• RQ2 事前設定の整列プロンプトは非整列プロンプトの長さをどの程度短く/長くするのに影響するか？
• RQ3 長期対話にも非整列は及ぶのか、どの程度のプロンプト長さで発生するのか？
• RQ4 実務的な LLM での BEB パラメータ（beta, beta', sigma）の現実的な範囲は？
• RQ5 RLHF 調整済みモデルは BEB の予測と一致するようなダイナミクスを示すか？

主な発見

• alpha, beta, gamma によって負に識別可能な分布の下で、整列は本質的に敵対的プロンプトに対して脆弱であることが示される。
• 整列プレフィックスは安全性を保証しない。要求される非整列プロンプトの長さは整列プロンプトの長さとともに増加する。
• 対話中にも非整列が生じ得て、回数ごとにプロンプト長の要件が累積する。
• LLaMA-2 からの経験的推定では、agreeableness 行動について beta が約20、beta' が約30、sigma^2 が約50、sigma/beta が約0.35。
• RLHF 微調整済み LLM は敵対的プロンプティング下で負の挙動分布へと収束する動きを示し、BEB の予測と一致する。

Figure 2: (a) KL between two distributions of opposite behaviors as function of prompt length sampled from $\mathbb{P}_{-}$ , averaged on 10 sampled sequences. For these two distributions, we see $\beta\approx 20$ . (b) Corresponding log ratio variance between the distributions mentioned in (a). 30