[論文レビュー] Adversary A3C for Robust Reinforcement Learning

Zhaoyuan Gu, Zhenzhong Jia+1 more|arXiv (Cornell University)|Dec 1, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 20

ひとこと要約

本論文では、敵対的訓練を統合することで、摂動に対する耐性を高めたA3C強化学習アルゴリズムの拡張版であるAdversary Robust A3C（AR-A3C）を提案する。訓練中に摂動を生成する敵対的エージェントを導入することで、AR-A3Cはノイズに強いポリシーを学習し、シミュレーションおよび実世界の振り子実験において、クリーン環境およびノイズ環境の両方で標準A3Cを上回る性能を発揮する。

ABSTRACT

Asynchronous Advantage Actor Critic (A3C) is an effective Reinforcement Learning (RL) algorithm for a wide range of tasks, such as Atari games and robot control. The agent learns policies and value function through trial-and-error interactions with the environment until converging to an optimal policy. Robustness and stability are critical in RL; however, neural network can be vulnerable to noise from unexpected sources and is not likely to withstand very slight disturbances. We note that agents generated from mild environment using A3C are not able to handle challenging environments. Learning from adversarial examples, we proposed an algorithm called Adversary Robust A3C (AR-A3C) to improve the agent's performance under noisy environments. In this algorithm, an adversarial agent is introduced to the learning process to make it more robust against adversarial disturbances, thereby making it more adaptive to noisy environments. Both simulations and real-world experiments are carried out to illustrate the stability of the proposed algorithm. The AR-A3C algorithm outperforms A3C in both clean and noisy environments.

研究の動機と目的

• 実世界およびシミュレーション環境における深層強化学習ポリシーが、微小な敵対的摂動に対して脆弱であるという問題に取り組む。
• クリーン環境での性能を損なわせることなく、A3Cアルゴリズムの耐性を向上させること。
• 実世界のポリシー評価に適した自動敵対的訓練を可能にするハードウェアプラットフォームの開発。
• シミュレーションから物理的ロボットシステムへの耐性のあるポリシーの移行可能性を実証すること。
• 段階的なノイズレベル訓練および外部力の適用を通じて、耐性の程度を定量化すること。

提案手法

• 訓練中に環境に摂動を生成する敵対的エージェントを導入し、極端な摂動をシミュレートする。
• 経験リプレイバッファに敵対的例を統合するようにA3Cフレームワークを変更し、失敗を引き起こす状況から学習できるようにする。
• メインエージェントがクリーンな遷移と敵対的遷移の両方から学習する二重ストリーム訓練メカニズムを採用する。
• リアルタイムの力の適用を可能にする、連続的かつ自動化された敵対的訓練をサポートするハードウェアベースの振り子セットアップを実装する。
• ノイズ強度を時間経過とともに増加させる段階的訓練スケジュールを適用し、挑戦の増大をシミュレートする。
• ドメインランダマイゼーションおよび敵対的データ拡張を活用し、環境間でのポリシー一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、ノイズや摂動のある環境下でA3Cポリシーの耐性を顕著に向上させることができるか？
• RQ2 訓練中に敵対的例を組み込むことで、シミュレーションおよび実世界設定の両方でより良い一般化が達成されるか？
• RQ3 シミュレーションで訓練された耐性のあるポリシーが、物理的ロボットシステムに実際に効果的に移行できるか、その程度はどの程度か？
• RQ4 累積報酬の安定性という観点から、AR-A3Cは敵対的攻撃下で標準A3Cと比べてどのように性能を発揮するか？
• RQ5 段階的なノイズレベル訓練により、段階的な摂動増加に対する明確な耐性の度合いを獲得できるか？

主な発見

• AR-A3Cは、敵対的攻撃下でも累積報酬において標準A3Cを顕著に上回り、性能低下は最小限に抑えられる。
• シミュレーション環境では、AR-A3Cは強い敵対的摂動に対しても安定した性能を維持するが、A3Cは累積報酬が急激に低下する。
• 実世界の振り子実験により、AR-A3Cが外部の打撃力および環境ノイズに対して耐性があることが確認され、実用的な耐性が裏付けられる。
• 耐性のあるポリシーのシミュレーションから実世界への移行は可能であり、物理的エージェントはシミュレートされたものと同等の性能を達成する。
• 段階的敵対的訓練により、ポリシーは増加する摂動レベルに適応でき、耐性評価のスケーラブルな手法であることが示唆される。
• 開発されたハードウェアプラットフォームは、自動敵対的訓練を効果的にサポートし、繰り返し可能でスケーラブルな耐性評価を可能にした。