[論文レビュー] Distributionally Robust Reinforcement Learning

Elena Smirnova, Elvis Dohmatob+1 more|arXiv (Cornell University)|Feb 23, 2019

Reinforcement Learning in Robotics参考文献 73被引用数 18

ひとこと要約

本稿では、推定誤差下での状態価値の下界保証を提供することで、探索中の安全性を向上させる分布的に頑健な強化学習フレームワークを提案する。再重み付けされた行動確率を用いた取り扱い可能な方策反復スキームを導入し、DR-SACに拡張することで、保守的短期行動と楽観的長期探索をバランスさせ、平均性能を損なわずに訓練の分散を顕著に低減する。

ABSTRACT

Real-world applications require RL algorithms to act safely. During learning process, it is likely that the agent executes sub-optimal actions that may lead to unsafe/poor states of the system. Exploration is particularly brittle in high-dimensional state/action space due to increased number of low-performing actions. In this work, we consider risk-averse exploration in approximate RL setting. To ensure safety during learning, we propose the distributionally robust policy iteration scheme that provides lower bound guarantee on state-values. Our approach induces a dynamic level of risk to prevent poor decisions and yet preserves the convergence to the optimal policy. Our formulation results in a efficient algorithm that accounts for a simple re-weighting of policy actions in the standard policy iteration scheme. We extend our approach to continuous state/action space and present a practical algorithm, distributionally robust soft actor-critic, that implements a different exploration strategy: it acts conservatively at short-term and it explores optimistically in a long-run. We provide promising experimental results on continuous control tasks.

研究の動機と目的

• 近似的な強化学習における方策評価の推定誤差に起因する危険な結果の発生リスクを低減すること。
• 有限標本の推定誤差が存在する状況下でも最適方策への収束を保証する、計算的に取り扱い可能なリスク回避型方策反復スキームの開発。
• 計算コストの増加を最小限に抑えながら、連続的状態および行動空間へのフレームワークの拡張。
• 短期的には保守的で、長期的には楽観的な混合探索戦略を設計し、安全性と収束性を確保すること。
• 連続制御ベンチマーク上での実験的検証を通じて、本手法が訓練の分散を低減し、安定性を向上させることを示すこと。

提案手法

• 推定誤差下での方策状態価値に対する下界保証を提供する、分布的に頑健なベルマン作用素の族を導入。
• Legendre-Fenchel変換を用いて、頑健な方策評価ステップを行動確率の再重み付けに再定式化し、計算を効率化。
• 最大エントロピー方策にこの頑健な方策反復スキームを適用し、短期的にはリスク回避的で、長期的には楽観的な探索戦略を実現。
• 定数時間の調整を用いて報酬関数を変更する連続空間への拡張を導出し、連続制御における効率的実装を可能に。
• 分布的に頑健な評価とソフトアクタクリティックの楽観的探索メカニズムを組み合わせた実用的アルゴリズムDR-SACを提案。
• 訓練中に局所的推定誤差を推定するため、各状態の訪問回数を追跡するために状態の離散化を採用。

実験結果

リサーチクエスチョン

• RQ1 有限標本の推定誤差下で、分布的に頑健な方策反復スキームが、近似的な強化学習における状態価値に対して下界保証を提供できるか？
• RQ2 最適方策への収束を損なわせることなく、リスク回避的探索を方策反復に統合する方法は何か？
• RQ3 提案された頑健なフレームワークを、計算コストを最小限に抑えながら連続的状態および行動空間に効率的に拡張可能か？
• RQ4 得られたアルゴリズムは、連続制御タスクにおいて標準的なSACと比較して、より優れた訓練安定性と低い分散を達成できるか？
• RQ5 短期的には保守的で、長期的には楽観的な混合探索戦略を、分布的頑健性を用いて効果的に実装できるか？

主な発見

• DR-SACは、Hopperでは報酬の標準偏差を76%、Walker2Dでは78%低減し、性能の分散が顕著に減少していることを示した。
• Hopperではエピソード長の標準偏差が76%、Walker2Dでは77%低減され、より安定的で予測可能な行動を示した。
• 平均報酬とエピソード長はSACと統計的に差がなく、安全性の向上が性能の低下を伴わないことを確認した。
• 訓練曲線では、報酬とエピソード長の両方において顕著な分散低減が観察され、複数のランダムシードにわたってDR-SACがより狭い信頼区間を維持していた。
• 動画デモンストレーションにより、DR-SAC方策は遅く、急な動きが少なく、より安全で安定した行動を示していることが確認された。
• 理論的分析と実験的結果により、最適方策への収束を保ちながらも、安全性の保証を維持していることが検証された。