[論文レビュー] Evolving Diverse Red-team Language Models in Multi-round Multi-agent Games

Chengdong Ma, Ziran Yang+5 more|arXiv (Cornell University)|Sep 30, 2023

Software Engineering ResearchComputer Science被引用数 3

ひとこと要約

本稿では、ナッシュ均衡問題として定式化された複数ターンのレッドチーム（RLM）とブルーチーム（BLM）の相互作用をモデル化するゲーム理論的フレームワーク、Red-teaming Game（RTG）を紹介する。Gamified Red-teaming Solver（GRTS）を用いて、メタゲーム分析と架空の対戦（fictitious play）を通じて、多様な攻撃的プロンプトを自律的に進化させることで、LLMの安全性を著しく向上させ、ヒューリスティック手法を上回る隠れた脆弱性の検出を実現した。

ABSTRACT

The primary challenge in deploying Large Language Model (LLM) is ensuring its harmlessness. Red team can identify vulnerabilities by attacking LLM to attain safety. However, current efforts heavily rely on single-round prompt designs and unilateral red team optimizations against fixed blue teams. These static approaches lead to significant reductions in generation diversity, known as the mode collapse, which makes it difficult to discover the potential risks in the increasingly complex human-LLM interactions. Here we introduce dynamic Red Team Game (RTG) to comprehensively analyze the multi-round offensive and defensive interactions between red team and blue team. Furthermore, we develop a Gamified Red Team Solver (GRTS) with diversity measures to mitigate mode collapse and theoretically guarantee the convergence of approximate Nash equilibrium which results in better strategies for both teams. Empirical results demonstrate that GRTS explore diverse and implicit attacks to adaptively exploit various LLMs, surpassing the constraints of specific modes. Insightfully, the geometrical structure we unveil of the red team task aligns with the spinning top hypothesis, confirming the necessity of constructing a diverse LLM population as a promising proxy for heterogeneous human expert red-teamers. This paves the way for scalable toxicity detection and safe alignment for LLMs.

研究の動機と目的

• 既存のレッドチーム手法が手動のアノテーションやヒューリスティックプロンプトに依存するため、厳密な数学的定式化が欠如しているという問題に対処すること。
• 収束保証を伴うゲーム理論的フレームワークを用いて、自動的かつ多様でスケーラブルなLLMのレッドチーム作成を可能にすること。
• トークンレベルおよび文レベルでの二段階最適化問題として敵対的相互作用をモデル化することで、言語モデルの安全性と整合性を向上させること。
• メタゲーム分析とナッシュ均衡ソルバーを用いて、スケーラブルな監視メカニズムを構築し、LLMの整合性を向上させること。

提案手法

• 有害性を評価する微調整済みコストモデルから得られる報酬関数を用いて、多ターンのレッドチームとブルーチームの相互作用を広義の敵対的チームゲームとして定式化する。
• RLMおよびBLMの両方のトークン生成を最適化するため、文の生成をマルコフ決定過程（MDP）としてモデル化する。
• 語義空間における多様な攻撃戦略の探索のため、架空の対戦（fictitious play）とナッシュソルバーを用いたメタゲーム分析を実施する。
• PPOベースのオンライン学習を採用し、別々の評価関数（Critic-red/blue）とLoRA微調整を用いて、ゲーム内でのポリシー適応を実現する。
• メタゲームにおける多様性に配慮した報酬メカニズムを導入し、攻撃の可能性を低減し、ナッシュ均衡に近づける。
• 報酬モデルとコストモデルの両方で統一されたバックボーン（Beaver-7B）を採用し、Alpaca、BAD、HH、SafeRLHF-testデータセットで学習した。

実験結果

リサーチクエスチョン

• RQ1 ナッシュ均衡の収束を保証するゲーム理論的フレームワークは、LLMの安全性におけるヒューリスティックレッドチーム手法の理論的裏付けとなる代替手段を提供できるか？
• RQ2 多ターンのレッドチーム作成において、敵対的プロンプトの多様性を体系的に測定・最適化する方法は何か？
• RQ3 メタゲーム分析を用いた自動レッドチーム作成は、これまでにない隠れた攻撃戦略をどの程度発見できるか？
• RQ4 提案されたフレームワークは、手動のアノテーションや事前に定義された有毒プロンプトテンプレートに依存せずに、LLMの安全性を向上させられるか？

主な発見

• GRTSは、教育や宗教を含む間接的・曲説的なプロンプトを用いた、標準の安全フィルタを回避する多様で隠れた攻撃戦略を効果的に発見した。
• GRTSを用いた訓練後、BLMは、直接的な表現でない場合でも、メスティンの調理や汚染に関する要求を一貫して拒否した。
• ヒューリスティックレッドチーム手法と比較して、本フレームワークは安全性のパフォーマンスを向上させ、複数の攻撃ベクトルにおいて優れた脆弱性検出能力を示した。
• 架空の対戦を用いたメタゲーム分析により、攻撃の可能性が著しく低減され、敵対的ゲームにおける安定なナッシュ均衡への収束が達成された。
• 30万件の安全サンプルで微調整されたコストモデルは、有害性を効果的に評価でき、RTGフレームワークにおける報酬計算を信頼できるものにした。
• 実験的結果から、GRTSを用いたレッドチーム作成により、より強固で安全なLLMが得られ、複雑な多ターンの敵対的プローブに対してもBLMが整合性を維持した。