[論文レビュー] Online Robustness Training for Deep Reinforcement Learning

M. L. Fischer, Matthew Mirman+2 more|arXiv (Cornell University)|Nov 3, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 12

ひとこと要約

本稿では、Qネットワークの学習とポリシー（学生）ネットワークの学習を分離することで、オンラインでのロバスト性訓練を可能にする、新しい深層強化学習フレームワークRS-DQNを提案する。Q値を学生ネットワークに distillation することにより、最先端の adversarial および provably robust training 法を統合し、Atariゲームにおいて勾配ベースの攻撃（例：PGD）に対して強いロバスト性を達成すると同時に、標準DQNと同等の性能を維持する。

ABSTRACT

In deep reinforcement learning (RL), adversarial attacks can trick an agent into unwanted states and disrupt training. We propose a system called Robust Student-DQN (RS-DQN), which permits online robustness training alongside Q networks, while preserving competitive performance. We show that RS-DQN can be combined with (i) state-of-the-art adversarial training and (ii) provably robust training to obtain an agent that is resilient to strong attacks during training and evaluation.

研究の動機と目的

• 入力状態が摂動を受ける勾配ベースの adversarial 攻撃によって性能が著しく低下する深層強化学習エージェントの脆弱性を解消すること。
• 従来は教師付き学習で用いられていた高度なロバスト訓練技術を、深層強化学習の学習パイプラインに統合できるようにすること。
• クリーン（攻撃なし）状態でも競争力のある性能を維持しつつ、adversarial な摂動下でのロバスト性を著しく向上させること。
• 符号的ロバスト訓練法を用いて、Atari環境におけるピクセルレベルの摂動（例：±1ピクセル）に対して証明可能なロバスト性を示すこと。
• Qネットワークの性能や学習ダイナミクスを損なわせることなく、ポリシーネットワークに対する防御的訓練を可能にする学習フレームワークを設計すること。

提案手法

• 標準DQNをQネットワーク（価値推定用）と学生ポリシーネットワーク（行動選択用）に分解し、ポリシーのロバスト性目的で別々に学習可能にする。
• 知識蒸留を用いて、QネットワークのQ値予測を学生ネットワークに転送し、学生が最適ポリシーを学習できるようにする。
• PGDに基づく adversarial 状態を用いて、最適行動の選択確率を最小化するように、学生ネットワークに adversarial training を適用する。
• DiffAIを用いた符号的区間解析により、各状態の周囲の有界な摂動領域内で正しい行動選択が保証される、provably robust training を採用する。
• 訓練中に段階的にロバストネス損失の重みと摂動半径を小さくすることで、精度とロバストネスのバランスを取る。
• Qネットワークに対しては標準DQNの学習を維持し、探索と行動選択には学生ネットワークを用いることで、学習の安定性を保つ。

実験結果

リサーチクエスチョン

• RQ1 教師付き学習で最先端のadversarial training法が、深層強化学習におけるロバストなポリシー学習に効果的に転送可能か？
• RQ2 DQNフレームワークにprovably robust trainingを統合することで、RL環境における有界な入力摂動に対してロバスト性を保証できるか？
• RQ3 価値ネットワークの学習からポリシー学習を分離することで、Qネットワークの性能を損なわせることなくロバストな学習が可能か？
• RQ4 DQNエージェントがクリーン状態でも高い性能を維持しつつ、adversarial 攻撃下でどれほど強いロバスト性を達成できるか？
• RQ5 Atariゲームにおいて、エージェントの行動が証明的に正しいまま保てる最大の摂動半径（ピクセル強度）はどの程度か？

主な発見

• RS-DQNはクリーン評価条件下で標準DQNと同等の性能を達成し、平均スコアはFreewayで32.53（DQN：33.00）、Bank Heistで154.00（DQN：222.00）、Boxingで90.47（DQN：95.87）を記録。DQNよりわずかに低いが、ほぼ同等の性能を示す。
• PGD攻撃（k=4）下では、DQNの性能は崩壊する（例：Pongで5.13点）が、RS-DQNはPongで5.13点、Boxingで90.47点を維持し、ロバスト性を保つ。
• provably robust trainingを用いることで、RS-DQNは最小の証明可能ロバスト性半径ε_max = 2.028（255倍）を達成し、Freewayでは±1ピクセルの変更に対し、証明可能なロバスト性を有する。
• Bank Heistではε_max = 1.373を達成し、±1ピクセルの摂動に対しても行動の正しさが保証される。
• 証明可能なロバスト性を持つRS-DQNエージェントは、DQN（Bank Heistで222.00）と比較してスコアの差が顕著に現れるが、強いロバスト性保証を鑑みれば妥当なトレードオフである。
• Qネットワークの学習が劣化せず、安定した訓練および評価曲線が全Atari環境で得られたことから、本手法によりオンラインでのロバスト性訓練が成功裏に実現された。