[論文レビュー] Improving Robustness via Risk Averse Distributional Reinforcement Learning

Rahul Singh, Qinsheng Zhang+1 more|arXiv (Cornell University)|May 1, 2020

Reinforcement Learning in Robotics参考文献 33被引用数 8

ひとこと要約

本稿では、サンプルベースの分布的方策勾配フレームワーク内で条件付きリスク価値（CVaR）を最適化することで、連続的制御タスクにおける方策のロバスト性を向上させる、リスク回避的分布的強化学習アルゴリズム、リスク回避的SDPGを提案する。この手法は、BipedalWalker、HalfCheetah、Walker2d環境において、モデルの不確実性やアクションの摂動に対して、リスクニュートラルな方策を上回り、ノイズが多いまたは不完全な実世界の展開において優れた安定性と信頼性を示している。

ABSTRACT

One major obstacle that precludes the success of reinforcement learning in real-world applications is the lack of robustness, either to model uncertainties or external disturbances, of the trained policies. Robustness is critical when the policies are trained in simulations instead of real world environment. In this work, we propose a risk-aware algorithm to learn robust policies in order to bridge the gap between simulation training and real-world implementation. Our algorithm is based on recently discovered distributional RL framework. We incorporate CVaR risk measure in sample based distributional policy gradients (SDPG) for learning risk-averse policies to achieve robustness against a range of system disturbances. We validate the robustness of risk-aware SDPG on multiple environments.

研究の動機と目的

• シミュレーションで訓練された方策と実世界での展開との間のロバスト性のギャップを、モデルの不確実性や外部の摂動によって解消すること。
• 分布的強化学習にリスクセンシティブな基準を組み込むことで、連続的制御タスクにおける方策のロバスト性を向上させること。
• SDPGにおけるサンプルベースのリターン分布表現を活用し、効率的かつ効果的なリスク回避的方策学習を実現すること。
• 複数のOpenAI Gym環境におけるさまざまなアクション力の摂動レベル下で、提案手法のロバスト性を実証的に検証すること。

提案手法

• 本手法は、サンプルベースの分布的方策勾配（SDPG）フレームワークを拡張し、最も悪いパフォーマンスを最適化するためのリスク指標として条件付きリスク価値（CVaR）を組み込む。
• 離散的なカテゴリカル表現や分位数表現ではなく、サンプルされたリターンを用いてリターン分布をモデル化することで、柔軟で効率的なリスクセンシティブな最適化を可能にする。
• 方策は、指定されたCVaRレベルαにおける期待リターンを最大化するように訓練され、リターン分布の裾野に注目することで、まれだが深刻な結果への感受性を低減する。
• アルゴリズムは、CVaRの微分可能近似を用い、SDPGフレームワーク内での方策勾配法によるエンドツーエンドの学習を可能にする。
• 摂動は、評価中にアクション力に平均ゼロのガウスノイズを追加することでシミュレートされ、ノイズレベル（0から1.5×a_maxまで）を変化させる。これは、実世界のアクチュエータの不完全性を模倣する。
• 各環境で1000本のトラジェクトリを評価し、リターンの累積分布関数（CDF）を報告することで、尾部の挙動とロバスト性を分析する。

実験結果

リサーチクエスチョン

• RQ1 分布的強化学習フレームワークにCVaRを組み込むことで、連続的制御タスクにおけるアクション摂動に対する方策のロバスト性が向上するか？
• RQ2 モデルの不確実性が増加する条件下で、リスク回避的SDPGはリスクニュートラルなSDPGと比較して、パフォーマンスの安定性に優れているか？
• RQ3 CVaRの最適化は、シミュレーションから実世界への展開における一般化性と信頼性を向上させるか？
• RQ4 さまざまなCVaR αレベルは、分散が大きくリスクの高い環境における期待リターンとロバスト性のトレードオフにどのように影響するか？

主な発見

• HalfCheetah-v2環境では、α = 0.1のリスク回避的SDPG方策が、すべてのノイズレベルで最良のパフォーマンスを達成し、リスクニュートラルおよび他のCVaR設定を上回った。
• BipedalWalker-v2では、非ゼロのα値で訓練された方策が、すべてのノイズレベルでリスクニュートラルな方策を上回り、ノイズが増加するにつれて性能の低下が著しく遅くなった。
• Walker2d-v2では、α = 0.5の方策が最も高いロバスト性を示し、高ノイズ（1.5×a_max）下でも安定したパフォーマンスを維持した。一方、リスクニュートラルな方策は摂動に対して最も感受性が高かった。
• CDF分析により、リスク回避的方策が下位リターン領域でより重たい尾部を持つことが確認され、不確実性下での深刻な失敗の可能性が低減していることが示された。
• 提案手法は、リスクニュートラルなSDPGと同等の訓練パフォーマンスを維持しながら、テスト時のロバスト性を顕著に向上させ、効果的なリスク認識方策学習を実現した。
• 結果から、CVaRに基づく最適化がモデルの不確実性とアクチュエータノイズの影響を効果的に軽減し、実世界での展開に適した方策を生成できることを示している。