[論文レビュー] Robust Deep Reinforcement Learning with Adversarial Attacks

Anay Pattanaik, Zhenyi Tang+3 more|arXiv (Cornell University)|Dec 11, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用数 119

ひとこと要約

本論文はDRLの頑健性の弱点を露呈させる adversarial 攻撃を設計し、その後、Cart-pole、Mountain Car、Hopper、Half Cheetah 環境にわたるパラメータ変動に対するDRLの頑健性を向上させる adversarial training を適用する。

ABSTRACT

This paper proposes adversarial attacks for Reinforcement Learning (RL) and then improves the robustness of Deep Reinforcement Learning algorithms (DRL) to parameter uncertainties with the help of these attacks. We show that even a naively engineered attack successfully degrades the performance of DRL algorithm. We further improve the attack using gradient information of an engineered loss function which leads to further degradation in performance. These attacks are then leveraged during training to improve the robustness of RL within robust control framework. We show that this adversarial training of DRL algorithms like Deep Double Q learning and Deep Deterministic Policy Gradients leads to significant increase in robustness to parameter variations for RL benchmarks such as Cart-pole, Mountain Car, Hopper and Half Cheetah environment.

研究の動機と目的

• ロボティクスや安全 critical settings におけるパラメータおよび環境変動に起因する頑健性の懸念を動機づける。
• エージェントの価値関数を利用して性能を劣化させる adversarial attacks を提案する。
• 頑健性を保つ制御フレームワーク内で adversarial training を開発し、様々なパラメータに対する DRL の頑健性を向上させる。
• DDQN や DDPG のような標準ベンチマークに対する頑健性の改善を実証する。

提案手法

• 価値関数ベースの RL に対する adversarial attack を、状態で最悪の行動をとる確率を増加させる摂動として定義する。
• DRL エージェントを欺くために、観測を l2-ノルムの制約内で摂動させる naive および gradient-based attacks を開発する。
• ポリシー分布から導かれるクロスエントロピー様の目的を最小化する勾配ベースの攻撃を導入し、最悪の状態を特定する。
• 頑健な adversarial training を実現するため、訓練中の adversarial 摂動を利用する訓練を紹介し、 robust control（CVaR）目的に触発される。
• DRQN/DDPG の訓練中に勾配ベースの adversarial 摂動を適用する 2 つの訓練アルゴリズム（Adv train）を説明し、頑健性を達成する。
• 敵対者が最悪ケースのパラメータ変動を探索して難易度の高い軌跡を生成するようにすることで、頑健な制御への等価性を議論する。

実験結果

リサーチクエスチョン

• RQ1 DRL エージェント（DDQN および DDPG）は観測の摂動に対してどれほど脆弱か。
• RQ2 adversarial 摂動を活用して、パラメータ変動の広範な範囲に対して頑健な DRL エージェントを訓練できるか。
• RQ3 勾配ベースの adversarial 攻撃は、この RL 设置において naive や SGD ベースの攻撃より優れているか。
• RQ4 Cart-Pole、Mountain Car、Hopper、Half-Cheetah のような連続制御ベンチマークに対する adversarial training のパフォーマンスへの影響はどうか。

主な発見

• 勾配ベースの adversarial 攻撃は naive sampling および SGD ベースの方法よりも DRL の性能をより効果的に劣化させる。
• RBF ベースの Q 学習は、平滑な関数近似のためか、DDQN より adversarial 摂動に対してより頑健である可能性がある。
• 提案された攻撃を用いた adversarial training は、Cart-Pole、Mountain Car、Hopper、Half-Cheetah のパラメータ変動下で顕著な頑健性の改善をもたらす。
• adversarially trained DDQN および DDPG は、通常の DRL ベースラインと比較して広いパラメータ設定範囲でより高い平均リターンを達成する。
• これらの攻撃は、一般的な DRL アルゴリズムにおける頑健性の課題を示し、線形にパラメータ化された RL がこの種の攻撃に対してより頑健になり得ることを示唆する。