[論文レビュー] Adversarial Exploitation of Policy Imitation

Vahid Behzadan, William Hsu|arXiv (Cornell University)|Jun 3, 2019

Adversarial Robustness in Machine Learning参考文献 7被引用数 9

ひとこと要約

この論文は、被動的な観察からのみ得られる状態-行動行動の挙動を用いて、深層強化学習（DRL）ポリシーが、模倣学習を介したモデル抽出攻撃に対して脆弱であることを示している。具体的には、深層Q学習による模倣（DQfD）を用いて、元のDRLエージェントの挙動を観察するだけでポリシーを再現している。主な貢献は、模倣されたポリシーから生成された敵対的例を元のDRLエージェントに転送し、高い成功率でブラックボックス攻撃を実現できたことである。特に、より多くのエキスパートの模倣データが利用可能な場合に顕著である。

ABSTRACT

This paper investigates a class of attacks targeting the confidentiality aspect of security in Deep Reinforcement Learning (DRL) policies. Recent research have established the vulnerability of supervised machine learning models (e.g., classifiers) to model extraction attacks. Such attacks leverage the loosely-restricted ability of the attacker to iteratively query the model for labels, thereby allowing for the forging of a labeled dataset which can be used to train a replica of the original model. In this work, we demonstrate the feasibility of exploiting imitation learning techniques in launching model extraction attacks on DRL agents. Furthermore, we develop proof-of-concept attacks that leverage such techniques for black-box attacks against the integrity of DRL policies. We also present a discussion on potential solution concepts for mitigation techniques.

研究の動機と目的

• 模倣学習技術を用いてDRLポリシーに対するモデル抽出攻撃の可能性を調査すること。
• ポリシーの模倣を悪用する完全ブラックボックス攻撃のプロトタイプ開発により、整合性の侵害を実現すること。
• 模倣されたポリシーから生成された敵対的例が、元のDRLエージェントにどれほど転送可能かを評価すること。
• 制約付きポリシーのランダマイゼーション（CRoP）を用いたポリシー模倣攻撃の緩和のための解決策の概念を提唱すること。

提案手法

• ターゲットDRLエージェントの状態-行動挙動の被動的観察のみを用いて、サーヴィェイランスポリシーを訓練するため、深層Q学習による模倣（DQfD）を活用する。
• 1ステップの二重Q学習、教師ありマージン分類、nステップリターン、L2正則化を組み合わせたハイブリッド損失関数を採用し、模倣の正確性を向上させる。
• FGSMを用い、$\epsilon = 0.01$で模倣されたポリシーに対して敵対的例を生成し、元のポリシーへの転送性をテストする。
• 行動選択を、レグルートが許容可能なしきい値$\Omega_{\text{max}}$の範囲内に収まる行動に制限する制約付きランダマイゼーション機構（CRoP）を適用する。
• トレーニング中における模倣の忠実度を維持するため、エキスパートの模倣データをリプレイバッファに恒久的に保持する。
• 優先順位付き経験再生とターゲットネットワークの更新を用いて、模倣フェーズ中のトレーニングを安定化させる。

実験結果

リサーチクエスチョン

• RQ1 DRLポリシーは、その挙動の被動的観察のみを用いて、効果的に逆引き可能か？
• RQ2 模倣されたポリシー上で生成された敵対的例が、元のDRLポリシーに対してどれほど効果的に攻撃できるか？
• RQ3 エキスパートの模倣データの数が、模倣されたポリシーと元のポリシー間での敵対的例の転送性に与える影響はどの程度か？
• RQ4 性能を損なわせることなく、制約付きポリシーのランダマイゼーションによってポリシー模倣攻撃を緩和することは可能か？

主な発見

• 模倣されたポリシー上で生成された敵対的例が、元のDRLポリシーに成功裏に転送され、実用的なブラックボックス攻撃ベクトルであることが示された。
• DQN-5kでは1エピソードあたり平均175.11回、PPO2-5kでは173.94回の成功転送が達成され、十分な模倣データがある場合に高い転送性が確認された。
• 模倣データが少ない場合、成功率が著しく低下し、DQN-1kでは3.30にまで低下した。これは、模倣データ量と攻撃効果性との強い相関関係を示している。
• エキスパートデータが増えるにつれて、模倣されたポリシーと元のポリシーの分布的乖離が小さくなり、敵対的例の転送性が向上する。
• 提案された制約付きポリシーのランダマイゼーション（CRoP）フレームワークは、性能を維持しながらも模倣リスクを低減する、体系的な防御メカニズムを提供する。
• 結果から、ポリシー模倣攻撃が単なる可能性ではなく、特に中程度のエキスパート模倣データにアクセス可能な攻撃者にとっては極めて効果的であることが確認された。