[論文レビュー] Bergeron: Combating Adversarial Attacks through a Conscience-Based Alignment Framework

Matthew Pisano, Peter Ly+5 more|arXiv (Cornell University)|Nov 16, 2023

Advanced Malware Detection Techniques被引用数 5

ひとこと要約

Bergeronは、主なLLMの不正な入力および出力を監視・是正する二次的「良心」モデルを備えた二段階のLLMフレームワークを提案する。微調整を伴わずに、敵対的攻撃に対する耐性を著しく向上させる。GPT-3.5、Llama2-7B、Mistral-7Bなどの複数のモデルにおいて、特にシェルエミュレーションやリスト生成などの高リスクプロンプトに対して、障害率の低下を実現した。

ABSTRACT

Research into AI alignment has grown considerably since the recent introduction of increasingly capable Large Language Models (LLMs). Unfortunately, modern methods of alignment still fail to fully prevent harmful responses when models are deliberately attacked. Such vulnerabilities can lead to LLMs being manipulated into generating hazardous content: from instructions for creating dangerous materials to inciting violence or endorsing unethical behaviors. To help mitigate this issue, we introduce Bergeron: a framework designed to improve the robustness of LLMs against attacks without any additional parameter fine-tuning. Bergeron is organized into two tiers; with a secondary LLM acting as a guardian to the primary LLM. This framework better safeguards the primary model against incoming attacks while monitoring its output for any harmful content. Empirical analysis reviews that by using Bergeron to complement models with existing alignment training, we can significantly improve the robustness and safety of multiple, commonly used commercial and open-source LLMs. Specifically, we found that models integrated with Bergeron are, on average, nearly seven times more resistant to attacks compared to models without such support.

研究の動機と目的

• 既存のアライメント手法が回避可能な、大規模言語モデルの継続的な脆弱性に対処すること。
• RLHFなどの重みベースのアライメント技術の限界、すなわち高コスト、不完全性、モデル性能の低下を克服すること。
• 主モデルの再トレーニングなしに、アライメントを強化できるモジュール型で、侵襲性の低いフレームワークを開発すること。
• 外部で透明な監視層を追加することで、オープンソースおよびブラックボックスLLMの両方の安全性を向上させること。
• 二次的LLMが、主モデルの入力および出力に対して、リアルタイムかつ解釈可能な保護装置として機能できることを示すこと。

提案手法

• 主なLLMの入力プロンプトおよび生成出力を監視する二次的LLM（「良心」モデル）を導入する。
• 平易なテキストによる批判を用いて、リアルタイムで危険なコンテンツを検出・是正する。
• 二段階の保護を適用する：生成前におけるプロンプト是正のための1段階目、生成後における応答是正のための2段階目。
• GPT-4をジャッジモデルとして用い、安全性を評価する。3ショットプロンプトを用い、アライメント成功／失敗の例を提示する。
• フレームワークをラッパーとして実装することで、主モデルの元の挙動への干渉を最小限に抑える。
• 繰り返し是正を可能にする批判メカニズムを採用するが、現在の評価では1回の呼び出しに限定している。

実験結果

リサーチクエスチョン

• RQ1 微調整を伴わずに、二次的LLMが主モデルのプロンプトおよび応答の両方において、不適切なコンテンツを効果的に検出・是正できるか？
• RQ2 GPT-3.5とMistral-7Bのような、事前アライメントの程度が異なるモデルにおいて、Bergeronフレームワークのパフォーマンスはどのように変化するか？
• RQ3 モデルサイズおよび事前アライメントの程度が、良心ベースのフレームワークの有効性に与える影響は何か？
• RQ4 どの敵対的プロンプティング技術が、このフレームワークを回避するために最も効果的であり、その理由は何か？
• RQ5 シェルエミュレーション、リスト生成、常にマキャベリズム的プロンプトなどの多様な攻撃タイプに対して、フレームワークのパフォーマンスは、元のモデルと比べてどのように異なるか？

主な発見

• Bergeronフレームワークは、評価されたすべてのモデルで障害率を低下させ、特にGPT-3.5において顕著な改善が見られた。すべての攻撃タイプで障害率が著しく低下した。
• Llama2-7Bはリスト生成攻撃に対してより脆弱であったが、GPT-3.5はシェルエミュレーションプロンプトに対してより危険であった。しかし、Bergeronは両方を効果的に是正した。
• Mistral-7Bは、最小限のアライメント微調整しか施されていなかったにもかかわらず、障害率が4％から11％低下した。これは、未アライメントのモデルに対してもフレームワークの有効性が示されたことを意味する。
• 大規模で閉鎖型のモデル、特に強い事前アライメントを持つモデルで、フレームワークのパフォーマンスが最も高く、重みベースと良心ベースのアライメントの相乗効果が示された。
• GPT-4が不適切と判断した出力の100％のケースで、良心モデルが危険なコンテンツを正しく検出・是正した。これは、高い検出精度を示している。
• 「常にマキャベリズム的」、「シェルエミュレーション」、「リスト生成」などの多様な攻撃タイプにおいて、フレームワークは性能を維持した。これは、広範な耐性を示している。