[論文レビュー] Snooping Attacks on Deep Reinforcement Learning

Matthew Inkawhich, Yiran Chen+1 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用数 10

ひとこと要約

この論文は、深層強化学習（DRL）エージェントに対するスヌーピング攻撃の脅威モデルを導入し、攻撃者が環境へのアクセスなしに行動および報酬信号のみを盗聴する状況を想定している。関連するタスクでプロキシモデルを訓練することで、転送可能な摂動を用いた効果的な敵対的攻撃を実証しており、モデルや環境へのアクセスが全くないブラックボックス攻撃ですら、Atari環境におけるDRLエージェントの性能を著しく低下させることを示している。

ABSTRACT

Adversarial attacks have exposed a significant security vulnerability in state-of-the-art machine learning models. Among these models include deep reinforcement learning agents. The existing methods for attacking reinforcement learning agents assume the adversary either has access to the target agent's learned parameters or the environment that the agent interacts with. In this work, we propose a new class of threat models, called snooping threat models, that are unique to reinforcement learning. In these snooping threat models, the adversary does not have the ability to interact with the target agent's environment, and can only eavesdrop on the action and reward signals being exchanged between agent and environment. We show that adversaries operating in these highly constrained threat models can still launch devastating attacks against the target agent by training proxy models on related tasks and leveraging the transferability of adversarial examples.

研究の動機と目的

• DRLエージェントからの行動および報酬信号のみを観測するという制限条件下で、敵対的脅威モデルの新たなクラス（スヌーピング攻撃）を同定・形式化すること。
• 環境やモデルパラメータへのアクセスが全くないという極めて制限された盗聴条件下でも、DRLエージェントに対する効果的なブラックボックス攻撃が可能かどうかを調査すること。
• 異なる目的関数をもつが関連するタスクを遂行するDRLエージェント間で、敵対的例の転送性がどの程度達成できるかを評価すること。
• 環境に干渉せずに、入手可能な信号のみを用いて時間的に疎らで、かつ不審を引きにくい攻撃を可能にするプロキシベースの攻撃フレームワークの構築と検証すること。

提案手法

• 著者らは、攻撃者が環境状態やパラメータではなく、行動および／または報酬信号のみを観測するスヌーピング脅威モデルを定義している。
• ターゲットエージェントの行動を模倣するため、関連するタスクでプロキシモデルを訓練し、敵対的例を生成する。
• 敵対的例は、プロキシモデル上で高速勾配法（FGM）を用いて生成され、その転送性を利用してターゲットDRLエージェントに攻撃を加える。
• 攻撃戦略では、模倣者勾配を用いて摂動を生成するため、環境との相互作用なしに効果的な攻撃が可能になる。
• 攻撃タイミングを戦略的に制御するバリエーションを含み、Pongにおけるボールがパドルに近づくような重要な時間ステップを標的とすることで、攻撃の効率性を向上させている。
• アセッサーネットワークを用いて報酬信号の分散を推定し、勾配ベースの攻撃生成におけるノイズ低減に寄与している。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が環境やモデルパラメータへのアクセスがなく、行動および報酬信号のみを観測する状況下でも、DRLエージェントに対する効果的なブラックボックス敵対的攻撃が可能かどうか。
• RQ2 異なる最適化目的を持つが関連するタスクを遂行するDRLエージェント間で、敵対的例の転送性はどの程度達成できるか。
• RQ3 攻撃者が環境に干渉できない状況下で、転送ベースの攻撃とサーロウスベースの攻撃の性能はどのように比較されるか。
• RQ4 時間的に疎らで、戦略的にタイミングをずらした攻撃は、スヌーピング制約下で不審性を低減しつつ効果性を高められるか。
• RQ5 入力空間における勾配類似性は、根本的に異なる目的関数を持つモデル間での転送性を可能にする役割を果たすか。

主な発見

• 関連するタスクで訓練されたプロキシモデルを用いた敵対的攻撃は、極めて制限されたスヌーピング制約下でも、Atari環境におけるDRLエージェントの性能を著しく低下させることに成功している。
• 提案されたACP+アセッサー法は、ランダム摂動戦略を上回り、環境との相互作用なしにDQNおよびPPOエージェントの両方で顕著な性能低下を引き起こしている。
• プロキシモデル上で生成された敵対的例は、プロキシとターゲットエージェントが異なる目的関数をもつ場合でも、効果的に転送されることが示されており、勾配の形状類似性が転送性を可能にしていることが裏付けられている。
• 報酬信号の高い分散に対しても攻撃は有効であるため、ノイズや疎らなフィードバックに対しても本手法は頑健であることが示唆されている。
• FGMに模倣者勾配を組み合わせた手法は、MIFGMを上回る性能を発揮しており、これは反復的アプローチがプロキシモデルの局所最適に過適合する傾向があるためと考えられる。
• 可視化結果から、異なるプロキシモデルの勾配におけるサリエンシーのパターンが視覚的に類似していることが確認され、勾配幾何学的性質がモデル間での転送を可能にしているという仮説を支持している。