[論文レビュー] CopyCAT: Taking Control of Neural Policies with Constant Attacks

Léonard Hussenot, Matthieu Geist+1 more|arXiv (Cornell University)|May 29, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 16

ひとこと要約

CopyCAT は、深層強化学習エージェントの観測に事前に計算された定数マスクを適用することで、内部状態を変更せずにエージェントの行動を完全に制御できる標的型でリアルタイムの adversarial 攻撃である。これは、白ボックスおよび初期のブラックボックス設定においても、Atari 2600 ゲームのエージェントを標的方策に従わせるのに成功し、ImageNet におけるユニバーサル adversarial 例を示している。

ABSTRACT

We propose a new perspective on adversarial attacks against deep reinforcement learning agents. Our main contribution is CopyCAT, a targeted attack able to consistently lure an agent into following an outsider's policy. It is pre-computed, therefore fast inferred, and could thus be usable in a real-time scenario. We show its effectiveness on Atari 2600 games in the novel read-only setting. In this setting, the adversary cannot directly modify the agent's state -- its representation of the environment -- but can only attack the agent's observation -- its perception of the environment. Directly modifying the agent's state would require a write-access to the agent's inner workings and we argue that this assumption is too strong in realistic settings.

研究の動機と目的

• 内部状態を変更せずに、リアルタイムで標的型攻撃を実現する深層強化学習エージェントの操作手法を開発すること。
• 従来の攻撃がエージェントの状態に書き込みアクセスを必要としているという制限を克服すること。これは実用的状況では現実的ではない。
• 観測レベルの摂動によって、任意の標的方策と一致するようにエージェントの方策を一致させることで、エージェントの行動を完全に制御すること。
• 白ボックスおよびブラックボックス設定の両方で手法を検証すること。特に、ImageNet などの現実的画像環境を含む。
• 高次元で現実世界の観測空間において、ユニバーサル adversarial 例の実現可能性を示すこと。

提案手法

• CopyCAT は、状態に依存しない、加法的なマスクを事前に計算し、エージェントの観測に直接適用する。これは内部状態ではなく観測に適用される。
• 攻撃は、エージェントと標的方策の行動乖離を最小化する標的型最適化問題として定式化される。
• マスクは、多様な観測分布にわたってエージェントの行動が標的方策と一致するよう促進する損失関数を用いて学習される。
• 攻撃は読み取り専用アクセスの仮定に基づく。つまり、エージェントの観測のみが変更可能であり、内部表現や重みは変更不可である。
• 攻撃は推論時に即座に推論可能であり、リアルタイムでの適用が可能である。
• 同じ最適化フレームワークを用いて、VGG16 を用いた ImageNet へのアプローチが拡張されている。

実験結果

リサーチクエスチョン

• RQ1 内部状態への書き込みアクセスが不要な状況で、観測のみを変更することで深層強化学習エージェントを標的型でリアルタイムに操作できる攻撃を構築できるか？
• RQ2 多様な環境や観測にわたって一貫して標的方策の行動を誘導する有限のユニバーサルマスクを事前に計算できるか？
• RQ3 CopyCAT は白ボックスからブラックボックス設定への転送性はどの程度高いのか。特に、標的方策が未知またはアクセス不能な場合に有効か？
• RQ4 現実的画像入力（例：ImageNet）に対してユニバーサル adversarial 例を生成できるか。また、高次元の観測空間においても有効性を維持できるか？
• RQ5 この手法の成功は、方策の意思決定境界の構造や、標的方策とソース方策の類似性にどの程度依存しているか？

主な発見

• CopyCAT は、内部状態を変更せずに、読み取り専用の観測攻撃設定下でも、Atari 2600 ゲームの訓練済み DQN エージェントを高い正確性で標的方策に従わせることに成功した。
• ImageNet で 'tiger_shark' クラスを標的にした場合、訓練精度が 90%、テスト精度が 88.44% に達し、現実的画像におけるユニバーサル adversarial 例生成の有効性を裏付けた。
• 事前に計算されたマスクにより、追加の遅延なしにリアルタイム推論が可能となり、オンラインで即時適用可能な攻撃となった。
• 初期のブラックボックス評価においても攻撃が有効であったため、未知またはアクセス不能な方策への転送性が示唆された。
• ImageNet におけるユニバーサル adversarial 例の存在は、CopyCAT の適用範囲が Atari に類する環境をはるかに超えて、複雑な現実世界の視覚入力に対しても拡張可能であることを確認した。
• 結果から、エージェントの内部状態が保護されていても、観測レベルの操作によって深層強化学習エージェントが脆弱であることが浮き彫りになった。