[論文レビュー] Worst Cases Policy Gradients

Yichuan Charlie Tang, Jian Zhang+1 more|arXiv (Cornell University)|Nov 9, 2019

Reinforcement Learning in Robotics参考文献 47被引用数 34

ひとこと要約

WCPGは、将来のリターンの分布をモデル化し、さまざまなリスクレベルに対してCVaRを最適化するリスク感応型アクター-クリティックフレームワークを導入し、alpha条件付きポリシーを有効にすることで、車両シミュレーションにおけるより安全で頑健な制御を実現します。

ABSTRACT

Recent advances in deep reinforcement learning have demonstrated the capability of learning complex control policies from many types of environments. When learning policies for safety-critical applications, it is essential to be sensitive to risks and avoid catastrophic events. Towards this goal, we propose an actor-critic framework that models the uncertainty of the future and simultaneously learns a policy based on that uncertainty model. Specifically, given a distribution of the future return for any state and action, we optimize policies for varying levels of conditional Value-at-Risk. The learned policy can map the same state to different actions depending on the propensity for risk. We demonstrate the effectiveness of our approach in the domain of driving simulations, where we learn maneuvers in two scenarios. Our learned controller can dynamically select actions along a continuous axis, where safe and conservative behaviors are found at one end while riskier behaviors are found at the other. Finally, when testing with very different simulation parameters, our risk-averse policies generalize significantly better compared to other reinforcement learning approaches.

研究の動機と目的

• 結果が確率的である安全性が重要な領域において、安全で頑健な逐次決定を動機づける。
• 将来のリターンの分布をモデル化し、平均リターンだけでなくリスクに配慮した基準を最適化する。
• 連続的な作用空間をサポートし、オフポリシー学習を可能にするスケーラブルなアクター-クリティックアーキテクチャを開発する。
• リスクパラメータalphaでポリシーを条件付けすることにより、リスク感度の連続的なスペクトルを有効にする。

提案手法

• DDPGアクター-クリティックフレームワークを、各状態-行動ペアについて未来リターンの平均Qと分散Upsilonの両方を予測する分布型クリティックで拡張する。
• Z(s,a)を平均Q、分散Upsilonを持つガウス分布としてモデル化し、これらのパラメータからCVaR_alphaを閉形式で導出する（Gamma = Q - (phi(alpha)/Phi(alpha)) * sqrt(Upsilon)。
• 高価なサンプリングを要さず、閉形式でCVaRを計算してリスク感応的な目的関数を提供する。
• alphaを入力として取る単一のニューラルネットワークを訓練し、連続的なリスク感応ポリシーの族 pi_theta(a|s, alpha)を可能にする。
• オフポリシー経験リプレイバッファを用い、CVaRベースの勾配をクリティックを通じてバックプロパゲーションし、アクターとクリティークのネットワークを更新する。
• alphaを入力として供給することによりalphaを離散化またはパラメータ化する; 訓練中は各エピソードごとにalphaをサンプリングして、幅広いリスク許容ポリシーを学習する。

実験結果

リサーチクエスチョン

• RQ1 分布型クリティックを介してCVaR(alpha)を最適化することは、連続制御タスクにおけるリスクへのロバスト性を向上させるか。
• RQ2 単一のネットワークはalphaで条件付けすることによりリスク感応ポリシーの連続体を学習できるか、そしてさまざまなリスク嗜好に対する性能はどう変化するか。
• RQ3 提案手法は、分布外の環境パラメータに直面したとき、最先端のRL手法とどのように比較されるか。
• RQ4 エージェントが重大な操作に近づくにつれて、学習済みのクリティックは不確実性とリスクについて何を明らかにするか。
• RQ5 このアプローチは、限られた再訓練で関連するシミュレーション環境（例: CARLA）へ転移できるか。

主な発見

• WCPGは、alphaが低下すると衝突の可能性を低減するリスク回避的なポリシーを学習する。
• より小さいalphaは、運転タスクにおいてより保守的な振る舞いと長い完了時間をもたらす。
• クリティックの推定不確実性は高リスク状況（例：対向車の近く）で増加し、作戦が完了した後は減少する。
• 分布外環境パラメータへの外挿において、低いalphaを用いるWCPGはベースライン法と比べてより優れたロバスト性を示す。
• WCPGで訓練されたポリシーは、異なるシミュレーションパラメータへの一般化とCARLAシナリオへの転送性を示し、低いalphaでも頑健性を維持する。