[論文レビュー] Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning

Chao-Han Huck Yang, Jun Qi+5 more|arXiv (Cornell University)|Feb 20, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用数 25

ひとこと要約

本稿は、物理的ノイズを戦略的に選択された時間枠に注入することで、深層強化学習（DRL）ナビゲーションシステムに対する強化された敵対的でタイミングを考慮した攻撃を提案する。白색ボックス攻撃では重み付き多数派オンライン学習を用いて動的タイミング意思決定を行い、ブラックボックス攻撃では方策勾配に基づく模倣により攻撃を実行する。両方の攻撃は、3つの3D環境（ロボットアーム制御、バナナ収集、自動運転車）において、ゼロアウト、ガウス、FGSMの敵対的ノイズパターンの下で、DRLの性能を顕著に低下させる。

ABSTRACT

Recent deep neural networks based techniques, especially those equipped with the ability of self-adaptation in the system level such as deep reinforcement learning (DRL), are shown to possess many advantages of optimizing robot learning systems (e.g., autonomous navigation and continuous robot arm control.) However, the learning-based systems and the associated models may be threatened by the risks of intentionally adaptive (e.g., noisy sensor confusion) and adversarial perturbations from real-world scenarios. In this paper, we introduce timing-based adversarial strategies against a DRL-based navigation system by jamming in physical noise patterns on the selected time frames. To study the vulnerability of learning-based navigation systems, we propose two adversarial agent models: one refers to online learning; another one is based on evolutionary learning. Besides, three open-source robot learning and navigation control environments are employed to study the vulnerability under adversarial timing attacks. Our experimental results show that the adversarial timing attacks can lead to a significant performance drop, and also suggest the necessity of enhancing the robustness of robot learning systems.

研究の動機と目的

• DRLベースのナビゲーションシステムがタイミングに基づく敵対的攻撃に対してどれほど脆弱であるかを調査すること。
• 最適な攻撃タイミングを決定するため、重み付き多数派オンライン学習を用いた白色ボックス攻撃戦略を開発すること。
• モデルへのアクセスなしに被害者の方策を模倣できるブラックボックス攻撃手法を設計すること。
• リアルな3D環境における連続的制御およびナビゲーションタスクにおいて、さまざまなノイズパターン（ゼロアウト、ガウス、FGSM）がDRLエージェントの耐性に与える影響を評価すること。
• DQN（価値ベース）とA3C（方策ベース）の両方のDRLモデルが、こうした攻撃に対して極めて感受性を示すことを実証すること。

提案手法

• ノイズあり観測フレームワークを提案： noisy_st = st + noise(t)，ここで noise(t) は選択された時間ステップに注入される。
• 3種類のノイズタイプを定義： T1（パルス型ゼロアウト）、T2（ガウス分布センサ融合ノイズ）、T3（ℓ∞-ノルム制約付きFGSM生成敵対的パターン）。
• 行動コスト差の推定に基づき、攻撃タイミングを決定するため、潜在的エネルギーを推定する重み付き多数派アルゴリズム（WMA）を用いた白色ボックス攻撃を構築。
• 被害者の行動を模倣するために逆強化学習を用いる攻撃者エージェントを訓練するPEPG-ASAを用いたブラックボックス攻撃を導入。
• 勾配推定を対数確率サンプリングを用いて行い、攻撃方策を最適化： ∇ρE(ρ) ≈ 1/N Σ ∇ρ log p(θ|ρ)r(hn)。
• 3つのオープンソースのUnity-3D環境を用いる： Env1（連続的ロボットアーム）、Env2（バナナ収集者）、Env3（Donkey Car自動運転シミュレーション）。

実験結果

リサーチクエスチョン

• RQ1 戦略的に選択されたタイミングの敵対的攻撃は、DRLベースのナビゲーションシステムの性能を顕著に低下させることができるか？
• RQ2 重み付き多数派オンライン学習を用いた白色ボックス攻撃のタイミング選択は、ベースラインのランダムまたは従来手法と比較してどれほど効果的か？
• RQ3 モデルパラメータへのアクセスなしに、行動と報酬から学習することでブラックボックス攻撃者がDRLエージェントを成功裏に侵害できるか？
• RQ4 さまざまなノイズパターン（ゼロアウト、ガウス、FGSM）は、連続的制御およびナビゲーションタスクにおけるDRLエージェントの耐性にどのように影響するか？
• RQ5 DQNとA3Cエージェントは、こうしたタイミングに基づく攻撃に対して、どれほど深刻な失敗を示すか？

主な発見

• WMA白色ボックス攻撃は、Env1（DQN）で平均報酬を最大86％低下させ、Env2（A3C）では89％低下させ、報酬は約30から約3に減少した。
• ブラックボックス攻撃のPEPG-ASAも同程度の低下を達成し、Env2（DQN）では報酬を約12から約5に、Env3（A3C）では約1.1から約0.6に低下させた。
• 同じノイズパターン（例：FGSM）であっても、タイミングに基づく攻撃はランダムジャミングよりも顕著に効果的であり、後者は報酬を約20％しか低下させなかった。
• Linら[16]のベースライン手法はPEPG-ASAと同等の性能を示したが、WMAは白色ボックスおよびブラックボックス両設定でそれを上回った。
• すべての攻撃がDQNおよびA3Cエージェントの両方で一貫した性能低下を引き起こし、価値ベースおよび方策ベースのDRLにおける広範な脆弱性を示した。
• 結果から、DRLエージェントは、ノイズが数フレームに限定されても、敵対的タイミングに対して極めて感受性であることが示された。これにより、強力な防御メカニズムの必要性が浮き彫りになった。