[論文レビュー] On the Robustness of Cooperative Multi-Agent Reinforcement Learning

Jieyu Lin, Kristina Dzeparoska+3 more|arXiv (Cornell University)|Mar 8, 2020

Adversarial Robustness in Machine Learning参考文献 17被引用数 14

ひとこと要約

本稿は、協調的マルチエージェント強化学習（c-MARL）を標的とする、二段階の攻撃フレームワークを提案する。まず、有害な行動を特定するための敵対的ポリシーを訓練し、次に、標的となる敵対的例を用いて1体の被害者エージェントの観測を操作する。この攻撃により、StarCraft IIベンチマークでチーム報酬が20から9.4に低下し、勝利確率が98.9%から0%に低下した。使用した摂動のL1ノルムはわずか8.33にとどまった。

ABSTRACT

In cooperative multi-agent reinforcement learning (c-MARL), agents learn to cooperatively take actions as a team to maximize a total team reward. We analyze the robustness of c-MARL to adversaries capable of attacking one of the agents on a team. Through the ability to manipulate this agent's observations, the adversary seeks to decrease the total team reward. Attacking c-MARL is challenging for three reasons: first, it is difficult to estimate team rewards or how they are impacted by an agent mispredicting; second, models are non-differentiable; and third, the feature space is low-dimensional. Thus, we introduce a novel attack. The attacker first trains a policy network with reinforcement learning to find a wrong action it should encourage the victim agent to take. Then, the adversary uses targeted adversarial examples to force the victim to take this action. Our results on the StartCraft II multi-agent benchmark demonstrate that c-MARL teams are highly vulnerable to perturbations applied to one of their agent's observations. By attacking a single agent, our attack method has highly negative impact on the overall team reward, reducing it from 20 to 9.4. This results in the team's winning rate to go down from 98.9% to 0%.

研究の動機と目的

• 協調的マルチエージェント強化学習（c-MARL）システムが、単一エージェントの観測を標的にした敵対的操作に対してどれほど脆弱であるかを調査すること。
• 非微分可能な価値関数、不正行動下での報酬推定の難しさ、低次元の入力空間といった要因による攻撃設計の課題を解決すること。
• 強化学習に基づくポリシー探索と勾配ベースの敵対的例生成を組み合わせた二段階攻撃手法を考案すること。
• 実世界のベンチマークで、摂動予算を最小限に抑えつつチーム報酬と勝利確率を低下させる攻撃の有効性を評価すること。
• 安全で重要なインfra構造に導入されるc-MARLシステムにおいて、強固な防御メカニズムの即時の必要性を強調すること。

提案手法

• 被害者エージェントへのブラックボックスアクセスのみを用いて、チーム全体の報酬を最小化する行動を特定する敵対的ポリシーを強化学習で訓練する。
• 改良型の勾配ベース手法（d-JSMA）を用いて、被害者エージェントが敵対的ポリシーが特定した行動を取るよう誘導する標的付き敵対的例を生成する。
• 低次元の入力空間に適応させるために、ハイパーパramータを動的に調整し、攻撃の実現可能性を高めるために正則化ペナルティを組み込む。
• チームパフォーマンスを最大限に低下させる行動を導くために、OWR（最悪報酬最適化）ポリシー選択戦略を統合する。
• 攻撃者が1体のエージェントの観測のみを摂動することでチームの連携を乱す、StarCraft IIマルチエージェント環境に二段階攻撃を適用する。
• d-JSMAとOWRベースのポリシーを組み合わせることで、最小限の摂動で高い成功率を達成し、広範なアブレーション実験とベースライン手法との比較によって検証した。

実験結果

リサーチクエスチョン

• RQ1 協調的マルチエージェント強化学習チームは、単一エージェントの観測を標的にした敵対的操作に対してどれほど脆弱であるか？
• RQ2 非微分可能な価値関数や低次元の入力といった要因により、c-MARLシステムに対する効果的な攻撃を設計するにあたり、主な課題は何か？
• RQ3 強化学習ベースのポリシー探索と勾配ベースの敵対的例生成を組み合わせた二段階攻撃は、最小限の摂動でチームパフォーマンスを著しく低下させることができるか？
• RQ4 提案手法の摂動予算と報酬低下の観点から、既存の敵対的攻撃手法と比較して、どのような差異が見られるか？
• RQ5 1体の摂動を加えたエージェントが、協調的MARL環境において、チーム全体の連携と勝利確率をどれほど破壊できるか？

主な発見

• 提案された二段階攻撃により、StarCraft IIベンチマークでチームの総報酬が20から9.4に低下し、深刻なパフォーマンス低下が確認された。
• 1体のエージェントが攻撃を受けると、チームの勝利確率が98.9%から0%に低下し、わずかな摂動でもほぼ完全なシステム障害を引き起こすことが示された。
• d-JSMA+OWRの変種が最良のトレードオフを達成し、最大の報酬低下を引き起こすために平均で8.33のL1ノルムの摂動で十分であった。
• 摂動分布のピーク密度が0付近に集中していることから、摂動が非常に小さくても攻撃が効果的であることが示され、最小限の観測変更で高い成功率を達成した。
• 攻撃は被害者エージェントを直接制御するのと同様の行動を模倣し、チームから離脱する、または敵の範囲内に進入するなど、非最適な行動へ誘導した。
• 敵対的ポリシー訓練における正則化が、非正則化ベースラインと比較して攻撃の実現可能性を著しく向上させ、必要な摂動を削減した。