[論文レビュー] Attacking c-MARL More Effectively: A Data Driven Approach

Nhan H. Pham, Lam M. Nguyen+4 more|arXiv (Cornell University)|Feb 7, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、協調的マルチエージェント強化学習（c-MARL）向けの、初めてのモデルベースの敵対的攻撃フレームワークであるc-MBAを提案する。この手法は、近接勾配法を用いた2段階最適化プロセスにより、より強い状態摂動を生成することで、既存のモデルフリー基準手法を上回る。データ駆動型の失敗状態定義と、適応的被害者選択戦略を導入し、環境知識を最小限に抑えた状態で、c-MARL環境において最大8–9倍の報酬低下を達成した。

ABSTRACT

In recent years, a proliferation of methods were developed for cooperative multi-agent reinforcement learning (c-MARL). However, the robustness of c-MARL agents against adversarial attacks has been rarely explored. In this paper, we propose to evaluate the robustness of c-MARL agents via a model-based approach, named c-MBA. Our proposed formulation can craft much stronger adversarial state perturbations of c-MARL agents to lower total team rewards than existing model-free approaches. In addition, we propose the first victim-agent selection strategy and the first data-driven approach to define targeted failure states where each of them allows us to develop even stronger adversarial attack without the expert knowledge to the underlying environment. Our numerical experiments on two representative MARL benchmarks illustrate the advantage of our approach over other baselines: our model-based attack consistently outperforms other baselines in all tested environments.

研究の動機と目的

• 協調的マルチエージェント強化学習（c-MARL）における敵対的攻撃に対する耐性の評価が不足しているという問題に取り組む。
• 既存のモデルフリー手法よりも強力な敵対的摂動を生成できるモデルベースの攻撃フレームワークを開発する。
• 失敗状態を定義するためのエキスパート知識に依存しない、データ駆動型の手法を導入することで、環境に関する依存度を低減する。
• 最も脆弱なエージェントを標的とする適応的被害者選択戦略を用いて、攻撃の効果を高める。
• さまざまなc-MARLベンチマークにおいて、摂動ノルムや動的モデルの精度の変動を考慮した状況下で、攻撃の性能を評価する。

提案手法

• チーム報酬を最小化するような状態摂動を生成するため、敵対的攻撃を2段階最適化問題として定式化する。
• ℓ∞およびℓ1ノルム制約下で、近接勾配法を用いて敵対的摂動を効率的に解く。
• 事前に収集した環境データを用いて、ターゲットとなる失敗状態をデータ駆動型で定義するアプローチを導入し、エキスパートが定義した状態に依存しなくなるようにする。
• 与えられた予算内で攻撃の影響を最大化するために、最も脆弱なエージェントを特定する適応的被害者選択戦略を提案する。
• 状態遷移をシミュレートし摂動生成をガイドするため、学習済みの動的モデルを用いることで、攻撃の精度を向上させる。
• 収集したロールアウトデータ上で動的モデルを学習し、モデルの精度が異なる状況下での攻撃性能への影響を評価する。

Figure 1: We illustrate the proposed model-based attack is powerful while other model-free attacks failed on attacking Agent $0$ in Ant (4x2) environment. The episode ends after 440 time steps under our c-MBA (the agent flips), demonstrating the effectiveness of our algorithm.

実験結果

リサーチクエスチョン

• RQ1 モデルベースの攻撃フレームワークは、既存のモデルフリー基準手法よりもc-MARLエージェントに対する攻撃で優れているか？
• RQ2 c-MARL攻撃において、エキスパートが定義した状態と比較して、データ駆動型の失敗状態定義はどの程度効果的か？
• RQ3 適応的被害者選択戦略は、マルチエージェント環境における敵対的攻撃の強度を顕著に向上させるか？
• RQ4 動的モデルの精度は、モデルベース攻撃の性能にどのように影響するか？
• RQ5 提案手法は、複雑なc-MARL環境において、最小限の摂動予算で顕著な報酬低下を達成できるか？

主な発見

• c-MBAは、MA-MuJoCoおよびMPEベンチマークの全環境で、すべてのモデルフリー基準手法を一貫して上回り、チーム報酬を最大8–9倍まで低下させた。
• データ駆動型の失敗状態定義は、大多数の環境でエキスパートが定義した状態と同等またはそれ以上の性能を達成した。
• 適応的被害者選択戦略を用いることで、固定された被害者選択と比較して、報酬低下の効果が最大80%向上した。
• ℓ1ノルム制約を用いたc-MBAは、Linら（2020）＋iFGSMと比較して、HalfCheetah(6x1)で報酬を156%多く低下させた。
• わずか200k件のサンプルで1エポック学習した動的モデルでさえ、100万件のサンプルで学習したモデルと同等の攻撃性能を示し、モデル精度に対するロバストネスを示した。
• HalfCheetah(6x1) や Ant(4x2) のようなエージェント数の多い環境では、摂動予算が小さい場合にc-MBAがより顕著な優位性を示した。

Figure 3: c-MBA vs baselines when attacking one agent in HalfCheetah(6x1) environment - Exp. (I) .