[論文レビュー] TrojDRL: Trojan Attacks on Deep Reinforcement Learning Agents

Panagiota Kiourti, Kacper Wardega+2 more|arXiv (Cornell University)|Mar 1, 2019

Adversarial Robustness in Machine Learning参考文献 29被引用数 24

ひとこと要約

本論文は、報酬を変更した汚染データを注入することで隠れた行動を埋め込むことで、深層強化学習（DRL）エージェントを攻撃する訓練時トロイ攻撃であるTrojDRLを紹介する。攻撃は汚染データがわずか0.025%でも成立し、クリーンな入力では正常に動作するが、トリガーが発動すると深刻な異常をきたす。また、分類モデル向けに開発された既存の防御手法はDRL環境では効果を発揮しない。

ABSTRACT

Recent work has identified that classification models implemented as neural networks are vulnerable to data-poisoning and Trojan attacks at training time. In this work, we show that these training-time vulnerabilities extend to deep reinforcement learning (DRL) agents and can be exploited by an adversary with access to the training process. In particular, we focus on Trojan attacks that augment the function of reinforcement learning policies with hidden behaviors. We demonstrate that such attacks can be implemented through minuscule data poisoning (as little as 0.025% of the training data) and in-band reward modification that does not affect the reward on normal inputs. The policies learned with our proposed attack approach perform imperceptibly similar to benign policies but deteriorate drastically when the Trojan is triggered in both targeted and untargeted settings. Furthermore, we show that existing Trojan defense mechanisms for classification tasks are not effective in the reinforcement learning setting.

研究の動機と目的

• 深層強化学習エージェントが分類モデルと同様に訓練時トロイ攻撃に対して脆弱であることを示すこと。
• 汚染データの最小限の割合（最小で0.025%の訓練データ）と、通常の性能に影響を与えない帯域内報酬変更によって攻撃を実行できることを示すこと。
• 分類モデル向けに設計された既存のトロイ攻撃防御手法がDRLエージェントに適用された場合の限界を調査すること。
• 特に連続制御設定や標的外または部分的トリガー攻撃において、DRLエージェントを防御する際に生じる独自の課題を特定すること。
• 連続出力を持つDRLの特徴に適合した新たな防御手法の開発を促すこと、特に連続出力を持つものについて。

提案手法

• 攻撃は、訓練データのわずかな割合を変更し、状態に固定されたトリガー（例：3×3ピクセルのパッチ）を追加するとともに、関連する報酬を変更して悪意ある行動を強化する。
• 攻撃はアクター・クリティックDRLフレームワークを活用しており、報酬がわずかに操作されても、累積報酬を最大化するようにポリシーネットワークがトリガーとターゲット行動の関連を学習する。
• 報酬の操作は帯域内で実行され、クリーンな入力の報酬分布を変更しないため、攻撃は静かで検知が困難である。
• 攻撃は標的ありと標的なしの両方の設定で評価され、推論時に隠れた行動を発動させるためにトリガーを状態観測に埋め込む。
• 防御評価にはNeural Cleanseやその他の分類ベースの防御手法が使用され、DRL環境ではモデルの複数出力の分布ゆえに、これらの手法が無効であることが判明した。
• 汚染済みとクリーンなサンプルの潜在空間におけるクラスタリングを分析したところ、汚染サンプルは孤立したクラスタを形成せず、検出を困難にしている。

実験結果

リサーチクエスチョン

• RQ1 データ汚染と報酬操作を用いて、訓練段階で深層強化学習エージェントにトロイ攻撃を効果的に埋め込むことができるか？
• RQ2 極めて低い汚染率で攻撃は効果的か？また、クリーンな入力では通常の性能が維持されるか？
• RQ3 分類モデル向けに開発された既存の防御手法が、なぜDRLエージェントに適用されないのか？
• RQ4 特に標的外または部分的トリガー攻撃において、DRLエージェントの防御にどのような独自の課題が生じるか？
• RQ5 離散出力の分類モデル向けに設計された防御手法を、連続制御出力をもつDRLエージェントに適応できるか？

主な発見

• TroジDRLは、汚染データがたった0.025%の訓練データでさえも使用して、DRLエージェントに隠れた行動を効果的に埋め込むことができ、クリーンな入力では性能に劣化がない。
• 通常の状態では攻撃が検知不能である。トリガーが存在しない状況では、ポリシーが健全なポリシーと区別がつかない。
• 報酬操作は効果的かつ静かである。攻撃は帯域内で報酬を操作しており、全体の報酬分布を保ったまま、疑いを招かない。
• 最先端の分類モデル防御手法であるNeural Cleanseは、標的外のDRL攻撃ではトリガーを検出できない。これは、モデルが複数の出力にわたる分布を持つためである。
• 10%の汚染データでさえも、潜在空間では汚染サンプルが別個のクラスタを形成せず、クラスタリングベースの検出は効果がない。
• 既存の防御は、離散出力と単一トリガー動作を仮定しているため、DRLでは不十分であり、連続制御や部分的トリガーの状況に適した新たな防御技術の開発が不可欠である。