[論文レビュー] Defending Adversarial Attacks without Adversarial Attacks in Deep Reinforcement Learning.

Xinghua Qu, Yew-Soon Ong+2 more|arXiv (Cornell University)|Aug 14, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文では、学生ポリシーの訓練中に adversarial な例を必要とせずに、深層強化学習における adversarial robustness を向上させる、新しい distillation 法である Robust Policy Distillation を提案する。Prescription gap の最大化と Jacobian 正則化損失を組み合わせることで、5つの Atari ゲームにおいて最先端の robustness を達成し、理論的保証と従来手法に対する実験的優位性を示している。

ABSTRACT

Many recent studies in deep reinforcement learning (DRL) have proposed to boost adversarial robustness through policy distillation utilizing adversarial training, where additional adversarial examples are added in the training process of the student policy; this makes the robustness improvement less flexible and more computationally expensive. In contrast, we propose an efficient policy distillation paradigm called robust policy distillation that is capable of achieving an adversarially robust student policy without relying on any adversarial example during student policy training. To this end, we devise a new policy distillation loss that consists of two terms: 1) a prescription gap maximization loss aiming at simultaneously maximizing the likelihood of the action selected by the teacher policy and the entropy over the remaining actions; 2) a Jacobian regularization loss that minimizes the magnitude of Jacobian with respect to the input state. The theoretical analysis proves that our distillation loss guarantees to increase the prescription gap and the adversarial robustness. Meanwhile, experiments on five Atari games firmly verifies the superiority of our policy distillation on boosting adversarial robustness compared to other state-of-the-arts.

研究の動機と目的

• 深層強化学習における、adversarial training に基づく distillation 法の計算効率の低さと柔軟性の欠如を是正する。
• 学生ポリシーの訓練中に adversarial な例に依存することによる柔軟性の低下と訓練コストの増加を克服する。
• adversarial な例によるデータ拡張に依存せず、損失関数の内在的設計によって adversarial robustness を保証する distillation フレームワークを開発する。
• 新しい損失関数により、prescription gap の最大化と入力感度の最小化を通じて、adversarial robustness の向上を理論的に裏付ける。
• 特に5つの Atari ゲームを対象とした標準的な DRL ベンチマークにおいて、adversarial 攻撃下で提案手法の実験的優位性を示す。

提案手法

• 2つの成分である prescription gap の最大化と Jacobian 正則化を組み合わせた新しいポリシー distillation 損失を提案する。
• Prescription gap の最大化損失を設計し、教師の行動の確率を向上させるとともに、他の行動におけるエントロピーを促進することで、入力の摂動に対してより頑健になるようにする。
• Jacobian 正則化損失を導入し、入力状態に対するポリシーの Jacobian の大きさを最小化することで、微小な入力変化に対する感度を低減する。
• 理論的分析により、組み合わせた損失関数が prescription gap を増大させ、有界な摂動下での adversarial robustness を向上させることを証明する。
• 訓練中に adversarial な例を一切使用せず、クリーンなデータのみで学生ポリシーを訓練するが、依然として頑健な性能を達成する。
• 本手法は教師の行動と勾配情報にのみ依存するため、adversarial なデータ生成を伴わず、計算効率が高くスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習における adversarial robustness は、学生ポリシーの訓練中に adversarial な例を使用せずに達成可能か？
• RQ2 prescription gap の最大化とポリシーの Jacobian の正則化を組み合わせた distillation 損失は、adversarial 攻撃に対して robustness を向上させるか？
• RQ3 本手法は、最先端の adversarial 訓練および distillation 手法と比較して、robustness と訓練効率の両面で優れているか？
• RQ4 提案された損失関数は、adversarial robustness と prescription gap の最大化に関して、どのような理論的保証を提供するか？
• RQ5 本手法は、多様な環境に一般化可能か？特に、多様な Atari ゲームでその有効性が示されたか？

主な発見

• 提案された Robust Policy Distillation 法は、学生の訓練中に adversarial な例を一切使用せず、5つの Atari ゲームにおいて最先端の adversarial robustness を達成した。
• adversarial 攻撃下での包括的な評価により、従来の最先端手法と比較して顕著な robustness の向上が確認された。
• 理論的分析により、提案された損失関数が prescription gap を増大させ、Jacobian 正則化による入力感度の最小化を通じて adversarial robustness を向上させることを確認した。
• 本手法はクリーンな環境でも高い性能を維持しながら、robustness を顕著に向上させたため、標準性能と robustness のトレードオフがないことが示された。
• 実験により、distillation のプロセスが効率的かつスケーラブルであることが示された。訓練中に adversarial な例の生成にかかる計算負荷を回避できた。
• アブレーションスタディにより、損失関数の2つの要素である prescription gap の最大化と Jacobian 正則化が、robust performance を達成するために不可欠であることが確認された。