[論文レビュー] Entropy Regularization with Discounted Future State Distribution in Policy Gradient Methods

Riashat Islam, Raihan Seraj+2 more|arXiv (Cornell University)|Dec 11, 2019

Reinforcement Learning in Robotics参考文献 28被引用数 7

ひとこと要約

本論文は、3段階時間スケールフレームワークで訓練されたニューラル密度推定器を用いて、割引された未来状態分布のエントロピーを正則化することで、探索を向上させる新しい方策勾配法を提案する。この手法は、状態空間のカバレッジとサンプル効率を向上させ、HalfCheetahやHopperなどの連続的制御ベンチマークで、より速い学習と優れた性能を示す。

ABSTRACT

The policy gradient theorem is defined based on an objective with respect to the initial distribution over states. In the discounted case, this results in policies that are optimal for one distribution over initial states, but may not be uniformly optimal for others, no matter where the agent starts from. Furthermore, to obtain unbiased gradient estimates, the starting point of the policy gradient estimator requires sampling states from a normalized discounted weighting of states. However, the difficulty of estimating the normalized discounted weighting of states, or the stationary state distribution, is quite well-known. Additionally, the large sample complexity of policy gradient methods is often attributed to insufficient exploration, and to remedy this, it is often assumed that the restart distribution provides sufficient exploration in these algorithms. In this work, we propose exploration in policy gradient methods based on maximizing entropy of the discounted future state distribution. The key contribution of our work includes providing a practically feasible algorithm to estimate the normalized discounted weighting of states, i.e, the extit{discounted future state distribution}. We propose that exploration can be achieved by entropy regularization with the discounted state distribution in policy gradients, where a metric for maximal coverage of the state space can be based on the entropy of the induced state distribution. The proposed approach can be considered as a three time-scale algorithm and under some mild technical conditions, we prove its convergence to a locally optimal policy. Experimentally, we demonstrate usefulness of regularization with the discounted future state distribution in terms of increased state space coverage and faster learning on a range of complex tasks.

研究の動機と目的

• 特に報酬がスパarsityな環境や高次元環境において、既存の方策勾配法が均一な状態空間カバレッジを達成できないという限界に対処すること。
• 方策最適化における割引状態分布または定常状態分布の推定が実用的に不可能であるという課題を克服すること。
• 割引された未来状態分布のエントロピーを明示的に正則化することで、方策がより広範な探索を促進する手法を開発すること。
• 方策学習、価値関数推定、状態分布密度推定を統合した三段階時間スケールアルゴリズムの収束性を証明すること。
• 標準的な連続的制御ベンチマークにおいて、提案手法の有効性を実証すること。特に、状態空間の探索が重要な環境において有効であることを示すこと。

提案手法

• 方策パラメータθから割引された未来状態分布dπθ(s)の推定値を生成するニューラル密度推定器を導入し、状態占有の微分可能な推定を可能にする。
• 変分推論を用いて、方策が誘導する分布下での観測状態の対数尤度の下界を最大化することで、密度推定器を訓練する。
• 方策、価値関数、密度推定器が異なる速度で更新される三段階時間スケールのアルゴリズムを定式化し、安定した学習を確保する。
• 推定された割引状態分布のエントロピーを、方策勾配の目的関数に正則化項として統合し、探索を促進する。
• 密度推定器が明示的に方策パラメータθに依存するように設計し、正則化が微分可能かつエンドツーエンドで学習可能であることを保証する。
• 推定された状態分布のエントロピーを、状態空間カバレッジの代理指標として活用し、直接的に最大探索を最適化する。

実験結果

リサーチクエスチョン

• RQ1 割引された未来状態分布に基づくエントロピー正則化は、方策勾配法における探索を改善できるか？
• RQ2 学習可能な密度モデルを用いて、実用的に割引された未来状態分布を推定することは可能か？
• RQ3 割引状態分布のエントロピーで方策最適化を正則化することで、収束が速くなり、サンプル効率が向上するか？
• RQ4 行動空間における標準的エントロピー正則化（例：SAC）と比較して、提案手法は状態空間カバレッジと性能において優れているか？
• RQ5 提案された三段階時間スケールアルゴリズムは、やや弱い技術的条件下でも局所最適方策に収束するか？

主な発見

• 提案手法は、HalfCheetah-v1 や Hopper-v1 などの連続的制御タスクにおいて、学習速度と最終的な性能が顕著に向上し、特に状態空間の探索が重要な環境で顕著な効果を示す。
• 正則化係数λ = 0.1の条件下で、10個の異なる乱数シードにおいて、ベースラインのDDPGおよびSACに対して一貫した性能向上を達成し、ロバスト性と再現性を示した。
• 割引された未来状態分布のエントロピーは、状態空間カバレッジの強力な代理指標であり、それを最大化することでより均一で広範な状態訪問が実現される。
• やや弱い技術的条件下でも、理論的根拠を提示した三段階時間スケールアルゴリズムとして、局所最適方策に収束することが示された。
• 実験により、密度推定器が割引状態分布の構造を効果的に捉えており、理論的に魅力的な正則化項を実用的に利用可能であることが確認された。
• アブレーションスタディの結果、λの適切なチューニングが正則化項の効果を最大にすることが確認され、極端な値では利得が減少する傾向にあることが分かった。