[論文レビュー] Mitigation of Policy Manipulation Attacks on Deep Q-Networks with Parameter-Space Noise

Vahid Behzadan, Arslan Munir|arXiv (Cornell University)|Jun 4, 2018

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文では、深層Qネットワーク（DQN）の学習中にパラメータ空間ノイズを用いることで、テスト時および学習時におけるホワイトボックスおよびブラックボックス攻撃に対する耐性を高める手法を提案する。ノイズドリブンの適応的探索を実現するNoisyNetを導入することで、方策の耐性が向上し、敵対的例の転送性が低減される。アタリ環境における実験では、標準DQNと比較して顕著な耐性向上が確認された。

ABSTRACT

Recent developments have established the vulnerability of deep reinforcement learning to policy manipulation attacks via intentionally perturbed inputs, known as adversarial examples. In this work, we propose a technique for mitigation of such attacks based on addition of noise to the parameter space of deep reinforcement learners during training. We experimentally verify the effect of parameter-space noise in reducing the transferability of adversarial examples, and demonstrate the promising performance of this technique in mitigating the impact of whitebox and blackbox attacks at both test and training times.

研究の動機と目的

• 深層強化学習エージェントが敵対的例による方策操作に対してますます脆弱であるという問題に対処すること。
• パラメータ空間ノイズが、テスト時および学習時の敵対的攻撃に対して耐性を高めることを検証すること。
• 一般化と耐性の向上を目的とした、NoisyNetの適応的パラメータノイズに基づく緩和手法の開発と検証すること。
• 深層強化学習における敵対的攻撃に関する再現可能な実験を支援するオープンソースプラットフォームの提供すること。
• 敵対的例の転送性低減を実験的に評価すること。

提案手法

• 標準的な$ε$-グリーディ探索に代わり、学習中のDQNに適応的かつパラメータ空間ノイズを導入するNoisyNetを採用する。
• NoisyNetアーキテクチャを用いて、ネットワーク重み（例：全結合層）を繰り返し摂動させることで、探索性と方策の多様性を向上させる。
• テスト時および学習時の攻撃の両方に対して、FGSMを用いて$\lambda = 1.0/255.0$の摂動限界を設定した敵対的例を生成する。
• アタリ2600ゲーム3種類（Enduro, Assault, Blackout）において、標準DQNとNoisyNet-DQNの性能を同一の攻撃条件下で比較する。
• テスト段階および学習段階における敵対的摂動下での累積報酬の低下度を測定することで、耐性を評価する。
• 環境シミュレーションにはOpenAI Gym、敵対的例生成にはCleverhansを用い、TensorFlowで実験プラットフォームを実装する。

実験結果

リサーチクエスチョン

• RQ1 DQNにおけるパラメータ空間ノイズは、ブラックボックス攻撃シナリオにおける敵対的例の転送性を低減できるか？
• RQ2 NoisyNetに基づく学習は、テスト時のホワイトボックス敵対的攻撃に対して耐性を向上させるか？
• RQ3 パラメータノイズは、DQNの学習時方策誘導攻撃に対する感受性にどのように影響するか？
• RQ4 パラメータノイズは、深層強化学習エージェントの一般化および耐性をどの程度向上させるか？
• RQ5 敵対的再訓練を必要とせず、パラメータノイズが実用的な防御メカニズムとして機能するか？

主な発見

• すべての3つのアタリ環境において、NoisyNet-DQNは標準DQNと比較して、ホワイトボックスのテスト時攻撃下でも顕著な性能低下の低減を示した。
• ブラックボックスのテスト時攻撃においても、NoisyNetは標準DQNよりも強い耐性を示し、性能低下が著しく低減されており、敵対的例の転送性が低下していることが示された。
• 学習時の攻撃においては、標準DQNは一貫して深刻な性能低下を示したが、NoisyNet-DQNは安定した学習を維持した。特に、性能にほとんど影響を受けていなかったAssault環境では顕著だった。
• NoisyNetにおける適応的パラメータノイズは、敵対的摂動の効果を低下させ、生成された敵対的例の転送性を妨げるランダムネスを導入した。
• 結果から、パラメータ空間ノイズが方策の一般化と耐性を向上させ、ホワイトボックスおよびブラックボックス攻撃の両方に対して有望な防御メカニズムであることが確認された。
• 再現可能な研究を支援するためのオープンソースプラットフォームが開発・公開された。