[論文レビュー] Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning

Lingwei Zhu, Takamitsu Matsubara|arXiv (Cornell University)|Aug 25, 2020

Reinforcement Learning in Robotics参考文献 22被引用数 4

ひとこと要約

本稿では、スケーラブルでエントロピーに配慮した政策改善の下界を導出することにより、単調な政策改善を保証する、新しいエントロピー正則化付き価値ベース強化学習アルゴリズムを提案する。期待される利得関数を用いて、調整可能な補間係数 ζ を介して更新の大きさを動的に制御することにより、政策の振動を抑制し、離散的および連続的制御タスクの両方で安定的で滑らかな学習を実現する。

ABSTRACT

This paper aims to establish an entropy-regularized value-based reinforcement learning method that can ensure the monotonic improvement of policies at each policy update. Unlike previously proposed lower-bounds on policy improvement in general infinite-horizon MDPs, we derive an entropy-regularization aware lower bound. Since our bound only requires the expected policy advantage function to be estimated, it is scalable to large-scale (continuous) state-space problems. We propose a novel reinforcement learning algorithm that exploits this lower-bound as a criterion for adjusting the degree of a policy update for alleviating policy oscillation. We demonstrate the effectiveness of our approach in both discrete-state maze and continuous-state inverted pendulum tasks using a linear function approximator for value estimation.

研究の動機と目的

• 近似価値ベース強化学習における政策の振動という、実世界の応用における信頼性を損なう深刻な問題に取り組む。
• 大規模または連続的状態空間において不審な下界の制限を克服する。
• 特定のアルゴリズムクラスに焦点を当てることで、エントロピー正則化付き価値ベース強化学習における単調な政策改善を保証する実用的でスケーラブルな手法を開発する。
• 新しい、取り扱いやすい下界に基づいて、調整可能な補間係数を用いて政策更新の攻撃性を動的に調整するアルゴリズムを設計する。
• 線形関数近似を用いて、離散状態の迷路および連続状態の倒立振子タスクの両方で、本手法の有効性を実証する。

提案手法

• 無限ホライズンMDPにおけるエントロピー正則化を明示的に考慮する新しい政策改善の下界を導出することで、よりタイトで実用的な保証を可能にする。
• 下界の入力として期待される政策利得関数のみを用いることで、計算効率が良く、大規模または連続的状態空間へスケーラブルになる。
• 政策更新の度合いを制御する動的補間係数 ζ ∈ [0,1] を導入し、初期は慎重に設定し、利得関数に顕著な改善が見られる場合にのみ増加させる。
• 現在の政策とグリーディ政策の凸結合として政策更新を定式化し、ζ を下界に基づいて調整することで、単調な改善を保証する。
• Q関数に線形関数近似を適用し、Tikhonov正則化を用いた最小二乗ベルマン更新を解くことで、学習の安定化を図る。
• 本手法を離散的および連続的制御環境に適用し、効率的な関数推定のため、実験的ベルマン作用素とランダム特徴近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化付き価値ベース強化学習において、連続的状態空間へスケーラブルな取り扱いやすい政策改善の下界を導出できるか？
• RQ2 下界に依存する補間係数 ζ を用いて、政策更新の大きさを動的に調整することで、実際の学習において単調な政策改善が達成できるか？
• RQ3 本手法は、既存の保守的政策反復法およびSPI-CVI手法と比較して、振動抑制および学習安定性の点で優れているか？
• RQ4 限られたサンプリングと近似価値関数推定のもとでも、本手法は単調な改善を維持できるか？
• RQ5 線形関数近似を用いた場合、本手法は離散的および高次元連続的制御タスクの両方で有効であるか？

主な発見

• 提案されたMI-CVIアルゴリズムは、CVIおよびSPI-CVIの近似版・正確版と比較して、p=0.05の有意水準で著しく政策の振動が減少した。
• MI-CVIはζが0から1に徐々に増加する傾向を示し、時間経過に伴い安定的かつ一貫した政策改善が行われていることを示している。
• 倒立振子タスクでは、同じ関数近似とサンプリング設定を用いても、MI-CVIはE-SPI-CVIおよびCVIよりも平均的な振動値が低かった。
• 正確なSPI-CVIバージョンは、δおよびΔAの過小評価によりζが非常に大きくなり、極端な振動を示したが、近似版はζがほぼゼロに近くなり、あまりに慎重な振るまいを示した。
• MI-CVIの利点は、信頼性の高いエントロピーに配慮した下界に基づいてζを調整することで、慎重さと攻撃性のバランスを取れる点にある。
• 本手法は、1イテレーションあたり200ステップ、合計30イテレーションという条件下でも、単調な改善を維持しており、サンプリングおよび近似誤差に対して強い耐性を示している。