[論文レビュー] EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization

Sahar Roostaie, Mohammad Mehdi Ebadzadeh|arXiv (Cornell University)|Oct 25, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、時間ステップにわたるアドバンテージ関数へのエントロピー正則化を統合し、過去の経験を保持するためのリプレイバッファを組み込んだ、オンポリシー強化学習アルゴリズムEnTRPOを提案する。この手法は、サンプル効率とパフォーマンスを向上させ、標準的なTRPOと比較してCart-Pole環境の制御において優れた性能を達成する。

ABSTRACT

Trust Region Policy Optimization (TRPO) is a popular and empirically successful policy search algorithm in reinforcement learning (RL). It iteratively solved the surrogate problem which restricts consecutive policies to be close to each other. TRPO is an on-policy algorithm. On-policy methods bring many benefits, like the ability to gauge each resulting policy. However, they typically discard all the knowledge about the policies which existed before. In this work, we use a replay buffer to borrow from the off-policy learning setting to TRPO. Entropy regularization is usually used to improve policy optimization in reinforcement learning. It is thought to aid exploration and generalization by encouraging more random policy choices. We add an Entropy regularization term to advantage over {\\pi}, accumulated over time steps, in TRPO. We call this update EnTRPO. Our experiments demonstrate EnTRPO achieves better performance for controlling a Cart-Pole system compared with the original TRPO

研究の動機と目的

• TRPOにオフポリシー経験リプレイを統合することで、オンポリシー強化学習におけるサンプル効率とポリシー性能を向上させること。
• 累積アドバンテージ関数にエントロピー正則化を適用することで、TRPOの探索性と一般化性能を向上させること。
• TRPOのトラストリージョン制約を維持しつつ、歴史的データとエントロピー駆動のポリシー多様性を活用すること。
• 実験的に、エントロピー正則化とリプレイが連続制御タスクにおける収束性と最終パフォーマンスを向上させることを検証すること。

提案手法

• TRPOにおける時間ステップにわたるアドバンテージ関数にエントロピー正則化を導入し、探索を促進するようにポリシー更新の目的関数を変更する。
• リプレイバッファを用いて過去の軌道を保存・再利用することで、オフポリシー学習を可能にしつつ、TRPOのオンポリシー・トラストリージョンフレームワークを維持する。
• 過度に決定的なポリシーを罰する加重エントロピー項を含むように、サrogate目的関数を修正する。
• ポリシー更新の制限をトラストリージョン制約で行い、訓練中の安定的かつ単調な改善を保証する。
• 確率的勾配上昇法を用いて正則化目的関数を最適化し、KLダイバージェンス制約を通じてポリシーの安定性を維持する。
• 時間ステップにわたってエントロピー正則化を蓄積することで、エピソード全体にわたる一貫性のある探索行動を維持する。

実験結果

リサーチクエスチョン

• RQ1 累積アドバンテージ関数にエントロピー正則化を適用することで、TRPOにおけるポリシー性能と探索性が向上するか？
• RQ2 TRPOにリプレイバッファを組み込むことで、ポリシーの安定性を損なわず、サンプル効率が向上するか？
• RQ3 エントロピー正則化と経験リプレイの組み合わせが、制御タスクにおける収束速度と最終パフォーマンスに与える影響は何か？
• RQ4 EnTRPOは、Cart-Pole環境における学習効率と最終パフォーマンスの面で、標準的なTRPOをどの程度上回るか？

主な発見

• EnTRPOは、標準的なTRPOと比較して、Cart-Pole環境の制御において優れたパフォーマンスを達成し、より高いサンプル効率と高速な収束を示した。
• エントロピー正則化の統合により、より探索的で頑健なポリシーが得られ、局所最適解への過早収束が抑制された。
• リプレイバッファの使用により、EnTRPOは過去の経験を再利用でき、訓練の安定性を損なわず、データ効率が向上した。
• 時間ステップにわたる累積エントロピー正則化により、エピソード間でのポリシー多様性と一般化性能が向上した。
• 実験結果から、EnTRPOは平均リターンと学習安定性の面で、TRPOを一貫して上回ることが示された。