[論文レビュー] Characterizing Attacks on Deep Reinforcement Learning

Xinlei Pan, Chaowei Xiao+9 more|arXiv (Cornell University)|Jul 21, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用数 52

ひとこと要約

この論文は、観測と環境ダイナミクスを含む、現実的で効率的なブラックボックスおよびオンラインの敵対的攻撃を深層 RL システムに対して開発し、それらをシミュレーションと実機ロボットで検証しています。

ABSTRACT

Recent studies show that Deep Reinforcement Learning (DRL) models are vulnerable to adversarial attacks, which attack DRL models by adding small perturbations to the observations. However, some attacks assume full availability of the victim model, and some require a huge amount of computation, making them less feasible for real world applications. In this work, we make further explorations of the vulnerabilities of DRL by studying other aspects of attacks on DRL using realistic and efficient attacks. First, we adapt and propose efficient black-box attacks when we do not have access to DRL model parameters. Second, to address the high computational demands of existing attacks, we introduce efficient online sequential attacks that exploit temporal consistency across consecutive steps. Third, we explore the possibility of an attacker perturbing other aspects in the DRL setting, such as the environment dynamics. Finally, to account for imperfections in how an attacker would inject perturbations in the physical world, we devise a method for generating a robust physical perturbations to be printed. The attack is evaluated on a real-world robot under various conditions. We conduct extensive experiments both in simulation such as Atari games, robotics and autonomous driving, and on real-world robotics, to compare the effectiveness of the proposed attacks with baseline approaches. To the best of our knowledge, we are the first to apply adversarial attacks on DRL systems to physical robots.

研究の動機と目的

• 現実的な攻撃設定の下でDRLの脆弱性を動機づけ、理解する。
• 被害モデルのパラメータにアクセスすることを必要としない、効率的なブラックボックス敵対的攻撃を開発する。
• MDPの時系列構造を活用して高スループットのオンライン攻撃を作成する。
• 環境ダイナミクスへの摂動と現実世界での攻撃の頑健性を探る。
• 頑健な物理的摂動を伴う現実ロボットでの敵対攻撃の実現可能性を示す。

提案手法

• 勾配推定コストを低減する適応サンプリングを用いたFDベースのブラックボックス攻撃を適応・改良する。
• 時間的一貫性を利用して、1つの摂動で複数フレームを攻撃するオンライン逐次攻撃を提案する。
• 攻撃生成に重要なフレームを特定するためのフレーム選択戦略を導入する。
• ランダム探索とRLベースのダイナミクス探索を介して環境遷移ダイナミクスを対象とする攻撃を開発する。
• 頑健な印刷済み敵対パッチを生成し、実世界条件下で評価することで、物理ロボットへ攻撃を拡張する。

実験結果

リサーチクエスチョン

• RQ1 DRL設定においてブラックボックス攻撃はホワイトボックス/ブラックボックスのベースラインと同等かそれを超えることができるか？
• RQ2 適応サンプリング（SFD）は標準の有限差分より勾配推定の効率を改善するか？
• RQ3 オンライン逐次攻撃はフレームごとの攻撃より攻撃スループットと有効性を向上させるか？
• RQ4 環境ダイナミクスへの摂動はDRLエージェントに対して実現可能で有効か？
• RQ5 物理ロボット展開において敵対パッチは頑健であり得るか？

主な発見

• 適応サンプリングと有限差分を用いるブラックボックス攻撃は、モデルアーキテクチャやパラメータへのアクセスなしに有効であり得る。
• オンライン逐次攻撃は少数のフレームを摺動し、その後のフレームに摂動を適用することで高いスループットを達成する。
• ランダム探索とRLベースの手法による環境ダイナミクスの攻撃は、ベースラインを超えてエージェントの性能を低下させる。
• 物理的敵対パッチは、印刷や視点のバリエーションに対して頑健になるよう作成でき、ロボットのナビゲーションタスクで効果を発揮する。
• 実験はAtariゲーム、MuJoCo制御タスク、TORCS運転シミュレーション、および実機ロボット実験に及び、ホワイトボックスおよびベースラインブラックボックス法と比較している。