[論文レビュー] Robust Reinforcement Learning via Adversarial training with Langevin Dynamics

Parameswaran Kamalaruban, Yu‐Ting Huang+4 more|arXiv (Cornell University)|Feb 14, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 12

ひとこと要約

本論文は、環境の摂動に対して耐性のあるエージェントを訓練するために、Stochastic Gradient Langevin Dynamics (SGLD) を用いたサンプリングベースのロバスト強化学習アルゴリズムを提案する。ロバストRLを純粋ナッシュ均衡探索ではなく、混合ナッシュ均衡問題として定式化することにより、MuJoCo環境における未観測の環境シフトにおいて、標準のポリシー勾配法や最適化ベースのベースラインを上回る優れた一般化性能を達成した。これは、非ロバストな目的関数で訓練された場合でさえも同様に有効である。

ABSTRACT

We introduce a sampling perspective to tackle the challenging task of training robust Reinforcement Learning (RL) agents. Leveraging the powerful Stochastic Gradient Langevin Dynamics, we present a novel, scalable two-player RL algorithm, which is a sampling variant of the two-player policy gradient method. Our algorithm consistently outperforms existing baselines, in terms of generalization across different training and testing conditions, on several MuJoCo environments. Our experiments also show that, even for objective functions that entirely ignore potential environmental shifts, our sampling approach remains highly robust in comparison to standard RL algorithms.

研究の動機と目的

• 分布シフトや環境不一致の下で深層強化学習エージェントの脆弱性を解消すること。
• 非凸・凹な目的関数の下で、最適化ベース手法が意味のある均衡に収束しないという限界を克服すること。
• 特に混合ナッシュ均衡に基づくサンプリングアプローチが、純粋ポリシー勾配法と比較して優れたロバスト性と一般化性能を示すことを示すこと。
• 非ロバストな目的関数で訓練されたサンプリングアルゴリズムが、最適化ベースのロバストRLと同等またはそれ以上の性能を達成できることを示すこと。
• SGLDに基づくサンプリングが、摩擦や質量の変動といった未確認の摂動下での倒立振子の失敗事例を効果的に処理できることを検証すること。

提案手法

• ロバストRLを、主人公が期待報酬を最大化し、敵対的要因が摂動を加える2人零和ゲームとして定式化する。
• ポリシーの事後分布からのサンプリングを可能にするために、Stochastic Gradient Langevin Dynamics (SGLD) を用い、混合ナッシュ均衡の探索を促進する。
• 収束性と安定性を向上させるために、RMSPropに基づく適応的学習率を用いた前処理付きSGLDの変種を採用する。
• ロバストRLの目的関数を混合戦略ゲームとして扱い、非凸・凹な設定下での純粋ナッシュ均衡探索の欠陥を回避する。
• 標準的およびロバストなRL目的関数の両方に対して、同じ訓練条件下で比較可能なサンプリングフレームワークを適用する。
• TD3 や SAC といったオフポリシー手法に統合し、ノイズを注入することでポリシーのパラメータをラングヴィンダイナミクスで更新する。

実験結果

リサーチクエスチョン

• RQ1 環境シフト下で、サンプリングベース手法が最適化ベース手法を上回るロバストな強化学習エージェントの訓練に有効であるか？
• RQ2 非凸・凹なロバストRL目的関数において、混合ナッシュ均衡からのサンプリングが純粋ナッシュ均衡探索よりも優れた一般化性能を提供するか？
• RQ3 非ロバストな目的関数で訓練されたサンプリングベースアルゴリズムが、同じロバストな目的関数で訓練された最適化ベースベースラインと同等またはそれ以上の性能を達成できるか？
• RQ4 SGLDに基づくサンプリング手法は、未確認の摩擦や質量変動下での倒立振子のような失敗事例に対して、どのように性能を発揮するか？
• RQ5 連続制御タスク（Walker, HalfCheetah, Hopper）において、ラングヴィンダイナミクスの使用がどの程度ロバスト性を向上させるか？

主な発見

• 提案手法であるTD3 with MixedNE-LDは、未観測の環境摂動下で、複数のMuJoCo環境において標準TD3やSACを一貫して上回る性能を示した。
• 非ロバストな目的関数で訓練されたにもかかわらず、同じロバストな目的関数で訓練された最適化ベースのロバストRL手法と同等またはそれ以上の性能を達成した。
• 標準のポリシー勾配法が失敗する事例（質量や摩擦の変化下での倒立振子）に対しても、本手法は効果的に対処できた。
• 実験では、未確認の摩擦、質量、ノイズ確率値の変動に対しても良好な一般化性能を示しており、強いロバスト性を裏付けた。
• RMSPropによる前処理付きSGLDバージョンは、高次元のポリシー空間においても安定した学習と効果的な探索を実現した。
• 全評価設定において、5つの異なる乱数シードで一貫して優れた性能を維持しており、再現性と安定性の高さが示された。