[論文レビュー] Whatever Does Not Kill Deep Reinforcement Learning, Makes It Stronger

Vahid Behzadan, Arslan Munir|arXiv (Cornell University)|Dec 23, 2017

Adversarial Robustness in Machine Learning参考文献 12被引用数 37

ひとこと要約

本稿では、非連続な訓練時およびテスト時の攻撃に対して、Deep Q-Network (DQN)エージェントのレジリエンスおよびロバスト性を調査する。DQNエージェントは訓練時の摂動に対して方策を適応させることで回復可能であり、そのような攻撃下で訓練された方策は、その後のテスト時攻撃に対してよりロバストになることが示された。特にε-greedy探索では、パラメータ空間のノイズよりも攻撃に対して優れたロバスト性を示した。

ABSTRACT

Recent developments have established the vulnerability of deep Reinforcement Learning (RL) to policy manipulation attacks via adversarial perturbations. In this paper, we investigate the robustness and resilience of deep RL to training-time and test-time attacks. Through experimental results, we demonstrate that under noncontiguous training-time attacks, Deep Q-Network (DQN) agents can recover and adapt to the adversarial conditions by reactively adjusting the policy. Our results also show that policies learned under adversarial perturbations are more robust to test-time attacks. Furthermore, we compare the performance of $ε$-greedy and parameter-space noise exploration methods in terms of robustness and resilience against adversarial perturbations.

研究の動機と目的

• 非連続な訓練時攻撃下におけるDQNエージェントのレジリエンスおよびロバスト性を調査すること。
• 摂動を伴う訓練で学習された方策が、非攻撃的テスト環境でも性能を維持するかを評価すること。
• ε-greedy探索とパラメータ空間ノイズ探索の有効性を、攻撃下の環境におけるレジリエンスおよびロバスト性の観点から比較すること。
• 攻撃下の訓練中に、方策の性能に現れるフェーズ遷移点を特定し、摂動からの回復を示すこと。
• 探索手法の影響がロバスト性に与える影響を分析することで、安全なディープ強化学習の設計にインサイトを提供すること。

提案手法

• 非連続な訓練時攻撃は、攻撃確率P(attack)で適用され、各観測値がその確率で独立に摂動される。
• 訓練およびテスト段階の両方でFGSMベースの攻撃的摂動が用いられ、最悪状況の攻撃シナリオを模擬する。
• 本研究では、Atari 2600環境におけるDQNエージェントのε-greedy探索とNoisyNetベースのパラメータ空間ノイズ探索を比較する。
• 性能は訓練およびテストエピソードにおける平均リターンで測定され、方策の劣化および回復曲線からフェーズ遷移点を同定する。
• PongおよびBreakout環境を用いて、攻撃下の環境におけるレジリエンス、ロバスト性、および性能を評価する実験を実施する。
• 攻撃確率（p = 0.2, 0.4, 0.8, 1.0）を変化させた条件下で、方策の回復およびロバスト性に関する統計的分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 非連続な訓練時攻撃において、DQNエージェントの性能が劣化から回復に移行する攻撃確率は何か？
• RQ2 攻撃的訓練が、その後のテスト時攻撃に対するDQN方策のロバスト性にどのように影響するか？
• RQ3 ε-greedy探索とパラメータ空間ノイズ探索のどちらが、攻撃下の訓練およびテスト環境においてより優れたレジリエンスとロバスト性をもたらすか？
• RQ4 攻撃的摂動下で訓練されたことは、非攻撃的テスト環境におけるDQNエージェントの性能に悪影響を及えるか？
• RQ5 探索手法と、攻撃下の訓練におけるフェーズ遷移および回復に要する反復回数の関係は何か？

主な発見

• 攻撃確率p < 1.0で非連続な訓練時攻撃を受けたDQNエージェントは、性能回復を示すフェーズ遷移点を示しており、攻撃的摂動に対してレジリエントであることが示された。
• 摂動を伴う訓練（p = 0.2およびp = 0.4）で学習された方策は、非攻撃的テスト環境でも、摂動なしの訓練とほぼ同等の性能を示し、性能が保持されていることが確認された。
• ε-greedy探索は、パラメータ空間ノイズよりもテスト時攻撃に対して優れたロバスト性を示し、BreakoutおよびPong環境の両方で高い平均リターンを達成した。
• NoisyNetエージェントは、ε-greedyエージェントよりも少ない反復回数でフェーズ遷移および回復に到達しており、低いロバスト性にもかかわらず、潜在的なレジリエンスが優れている可能性を示唆している。
• 攻撃的訓練を経た方策は、摂動なしの訓練と比較して、テスト時のFGSM攻撃に対して著しく高いロバスト性を示しており、攻撃的事前訓練の利点が確認された。
• 攻撃確率が高く（p = 0.8、p = 1.0）な場合、性能劣化は著しいが、攻撃頻度が臨界閾値未満であれば、依然として回復が可能であることが示された。