[論文レビュー] Stealthy and Efficient Adversarial Attacks against Deep Reinforcement Learning

Jianwen Sun, Tianwei Zhang+5 more|arXiv (Cornell University)|May 14, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用数 4

ひとこと要約

本稿では、Deep Reinforcement Learning (DRL)エージェントの効果的で静かなる回避を可能にする2つの新しい敵対的攻撃手法—Critical Point AttackとAntagonist Attack—を提案する。将来の状態の予測モデルと損傷に配慮した最適化を活用することで、最小限の重要な干渉ポイントを同定し、Atari、TORCS、MuJoCoなどの多様な環境で1〜5ステップのうちに成功した攻撃を達成した。これは、従来の手法が20〜80ステップを要するのに対し顕著に優れている。

ABSTRACT

Adversarial attacks against conventional Deep Learning (DL) systems and algorithms have been widely studied, and various defenses were proposed. However, the possibility and feasibility of such attacks against Deep Reinforcement Learning (DRL) are less explored. As DRL has achieved great success in various complex tasks, designing effective adversarial attacks is an indispensable prerequisite towards building robust DRL algorithms. In this paper, we introduce two novel adversarial attack techniques to \emph{stealthily} and \emph{efficiently} attack the DRL agents. These two techniques enable an adversary to inject adversarial samples in a minimal set of critical moments while causing the most severe damage to the agent. The first technique is the \emph{critical point attack}: the adversary builds a model to predict the future environmental states and agent's actions, assesses the damage of each possible attack strategy, and selects the optimal one. The second technique is the \emph{antagonist attack}: the adversary automatically learns a domain-agnostic model to discover the critical moments of attacking the agent in an episode. Experimental results demonstrate the effectiveness of our techniques. Specifically, to successfully attack the DRL agent, our critical point technique only requires 1 (TORCS) or 2 (Atari Pong and Breakout) steps, and the antagonist technique needs fewer than 5 steps (4 Mujoco tasks), which are significant improvements over state-of-the-art methods.

研究の動機と目的

• Deep Reinforcement Learning (DRL)エージェントに対する効果的で静かな敵対的攻撃の欠如に対処すること。
• エージェントの最終的目標に最大の損害を与える最小限の高影響力の干渉ポイントをDRLトラジェクトリーモードで同定すること。
• 既存手法よりも少ない摂動ステップ数を要する汎用的で効率的な攻撃戦略を開発すること。
• 干渉ステップ数を最小限に抑えつつエージェントのパフォーマンスに最大限の混乱をもたらすことで、攻撃の静かさを向上させること。
• 連続的および離散的アクション空間を含む、多様なDRL環境およびアルゴリズムにおける提案手法の評価を行うこと。

提案手法

• Critical Point Attackは、ドメイン特化モデルを用いて将来の状態と行動を予測し、エージェントの最終的目標に基づく損傷認識メトリクスを用いて攻撃戦略を評価する。
• 長期的なパフォーマンスへの摂動の影響をシミュレートすることで、最大の損害をもたらす最小のステップ数で最適な攻撃戦略を選択する。
• Antagonist Attackは、ドメインに依存しないモデルを訓練し、エージェントの報酬関数を最適化目的として用いて、干渉のための最適な瞬間を自動的に特定する。
• このモデルは、環境に関する事前知識がなくても、摂動を注入してエージェントを失敗に導くタイミングと方法を学習する。
• 両手法とも、環境状態に小さな、人間が認識できない摂動を適用することで、静かさを保ちつつエージェントのポリシーへの混乱を最大限に高める。
• 損傷認識メトリクスは、各攻撃戦略の長期的影響を定量化し、敵が最も効果的な干渉ポイントを選択できるようにする。

実験結果

リサーチクエスチョン

• RQ1 干渉ステップ数を最小限に抑えることで、DRLエージェントに対する静かで効果的な敵対的攻撃を設計できるか？
• RQ2 エージェントの最終的目標に基づく損傷認識メトリクスは、DRLにおける敵対的攻撃の精度と効率を向上させられるか？
• RQ3 環境固有の知識が事前に不要なドメインに依存しないアントゴニストモデルが、最適な攻撃瞬間を自動的に同定できるか？
• RQ4 提案手法は、戦略的タイミング攻撃やエンチャント攻撃といった最先端手法と比較して、どの程度効率的で効果的か？
• RQ5 提案手法は、連続的アクション空間を含むさまざまなDRLアルゴリズムや環境に一般化可能か？

主な発見

• Critical Point Attackは、TORCSでは1ステップ、Atari PongとBreakoutでは2ステップで成功した攻撃を達成した。これは、戦略的タイミング攻撃が80ステップを要するのに対し顕著に少ない。
• Antagonist Attackは、4つのMuJoCo環境で5ステップ未満で攻撃に成功した—InvertedPendulumでは2ステップ、Hopperでは1ステップ、HalfCheetahでは5ステップ、Walker2dでは3ステップ—高い効率性を示した。
• TORCSでは、最適な攻撃摂動サイズ（Δ）が約0.82であることが判明し、これは一貫して衝突や制御不能を引き起こした。
• Antagonist Attackは、PongとBreakoutの両方で、戦略的タイミング攻撃が6ステップと5ステップを要するのに対し、それぞれ3ステップで成功した。これは、著しい優位性を示した。
• Antagonist攻撃は戦略的ターゲティング行動を示し、TORCSではエージェントがコーナー付近（ステップ105〜135）にいる際に攻撃を実行する傾向があり、不安定性が攻撃効果を高めるためだった。
• Antagonistモデルは、報酬が高く安定した段階（例：TORCSのステップ65〜95）では攻撃を避ける傾向を示した。これは、エージェントの行動選好が強い時期であるためで、戦略的認識の確認となった。