[論文レビュー] Mis-spoke or mis-lead: Achieving Robustness in Multi-Agent Communicative Reinforcement Learning

Wanqi Xue, Wei Qiu+4 more|arXiv (Cornell University)|Aug 9, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用数 11

ひとこと要約

本稿は、悪意あるメッセージ攻撃に対して脆弱なマルチエージェント通信強化学習（MACRL）のためのロバストなフレームワークを提案する。悪意あるメッセージの検出と再構築を目的とした二段階のメッセージフィルタを導入し、攻撃と防御をゼロサムゲームとしてモデル化するゲーム理論的手法、$ρ$-MACRLを提案する。この手法により、複数のMACRLアルゴリズムおよび環境において、攻撃下での協調性が顕著に向上する。

ABSTRACT

Recent studies in multi-agent communicative reinforcement learning (MACRL) have demonstrated that multi-agent coordination can be greatly improved by allowing communication between agents. Meanwhile, adversarial machine learning (ML) has shown that ML models are vulnerable to attacks. Despite the increasing concern about the robustness of ML algorithms, how to achieve robust communication in multi-agent reinforcement learning has been largely neglected. In this paper, we systematically explore the problem of adversarial communication in MACRL. Our main contributions are threefold. First, we propose an effective method to perform attacks in MACRL, by learning a model to generate optimal malicious messages. Second, we develop a defence method based on message reconstruction, to maintain multi-agent coordination under message attacks. Third, we formulate the adversarial communication problem as a two-player zero-sum game and propose a game-theoretical method R-MACRL to improve the worst-case defending performance. Empirical results demonstrate that many state-of-the-art MACRL methods are vulnerable to message attacks, and our method can significantly improve their robustness.

研究の動機と目的

• 最先端のMACRL手法が悪意あるメッセージ操作に対してどれほど脆弱であるかを調査すること。
• マルチエージェントの協調性を破壊するための最適な悪意あるメッセージを学習する効果的な攻撃モデルを設計すること。
• 異常を検出するとともに元のメッセージを再構築する二段階のメッセージフィルタを開発すること。
• 攻撃と防御の相互作用を二対のゼロサムゲームとして定式化することで、最悪ケースのロバスト性を向上させること。
• 提案された防御の有効性を多様なMACRLアルゴリズムおよび環境で検証すること。

提案手法

• 攻撃は、PPOを用いて最適な悪意あるメッセージを生成する方策を訓練することでモデル化され、マルチエージェントの協調性を破壊することを目的とする。
• 二段階のメッセージフィルタを提案する：第一に、異常検出器が疑わしいメッセージを特定し、第二に、学習されたオートエンコーダー構造を用いてメッセージ再構成器が元のメッセージを復元する。
• 防御メカニズムはMACRLの学習パイプラインに統合され、エージェントがアクティブなメッセージ攻撃下でも協調性を維持できるようにする。
• 攻撃-防御問題は二対のゼロサムゲームとして定式化され、PSROフレームワークを用いて$ρ$-MACRLがナッシュ均衡方策の近似として開発された。
• ゲーム理論的手法により、学習中に最悪の攻撃シナリオを最適化することで、より高いロバスト性が確保される。
• 本手法は、複数のMACRLアルゴリズム（例：MADQN、MAPPO）および環境（例：NDQ、Hanabi）で評価され、フィルタの構成要因に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 最先端のMACRLアルゴリズムは、悪意あるメッセージ攻撃に対してどれほど脆弱であるか？
• RQ2 学習可能なメッセージフィルタは、悪意あるメッセージを効果的に検出し、再構築することで協調性を回復できるか？
• RQ3 異常検出器とメッセージ再構成器の個々の構成要素が、フィルタの性能に与える影響は何か？
• RQ4 ゲーム理論的防御戦略は、悪意ある通信における最悪ケースのロバスト性を向上させられるか？
• RQ5 提案された$ρ$-MACRLフレームワークは、標準的な防御手法に比べてMACRLのロバスト性をどのように向上させるか？

主な発見

• MADQN や MAPPO などの最先端のMACRL手法は、悪意ある状況下で顕著に性能が低下するなど、メッセージ攻撃に対して極めて脆弱である。
• 提案された二段階のメッセージフィルタは、攻撃下でもマルチエージェントの協調性を回復させ、異常検出器とメッセージ再構成器の両方が高い性能を発揮するために不可欠である。
• 複数の攻撃者を想定した状況下でも、メッセージフィルタはエージェントが協調を回復可能にするが、収束にはより多くの訓練ステップを要する。
• NDQ環境では、$ρ$-MACRLで学習されたエージェントは、4bane_vs_hM シナリオで期待効用が $15.86 \pm 0.08$（対照的防御では $15.50 \pm 0.29$）を達成した。
• 1o_3r_vs_4r シナリオでは、$ρ$-MACRLにより期待効用が $18.39 \pm 0.80$ に向上した（対照的アプローチでは $17.03 \pm 0.53$）。
• アブレーションスタディにより、異常検出器またはメッセージ再構成器のいずれかを無効化すると防御性能が著しく低下することが確認され、両方の構成要素が重要であることが裏付けられた。