[論文レビュー] Trust-PCL: An Off-Policy Trust Region Method for Continuous Control

Ofir Nachum, Mohammad Norouzi+2 more|arXiv (Cornell University)|Jul 6, 2017

Reinforcement Learning in Robotics参考文献 27被引用数 31

ひとこと要約

Trust-PCL は、相対エントロピー正則化を用いて方策最適化を安定化させつつ、非政策データの効率的再利用を可能にする、非政策の信頼領域強化学習アルゴリズムである。エントロピー正則化を施した最大報酬目的関数において経路的一致性を強制することで、Trust-PCL は TRPO よりも優れたサンプル効率と最終的パフォーマンスを達成し、連続制御ベンチマークにおいて最先端の結果と同等またはそれを上回っている。

ABSTRACT

Trust region methods, such as TRPO, are often used to stabilize policy optimization algorithms in reinforcement learning (RL). While current trust region strategies are effective for continuous control, they typically require a prohibitively large amount of on-policy interaction with the environment. To address this problem, we propose an off-policy trust region method, Trust-PCL. The algorithm is the result of observing that the optimal policy and state values of a maximum reward objective with a relative-entropy regularizer satisfy a set of multi-step pathwise consistencies along any path. Thus, Trust-PCL is able to maintain optimization stability while exploiting off-policy data to improve sample efficiency. When evaluated on a number of continuous control tasks, Trust-PCL improves the solution quality and sample efficiency of TRPO.

研究の動機と目的

• 環境との広範な相互作用を必要とする、TRPO のようなオンポリシー信頼領域手法の低いサンプル効率を是正すること。
• 相対エントロピー正則化子を導入することで、連続制御における非政策的方策最適化を安定化させること。
• 最適化の安定性や収束性を損なわずに、信頼領域アルゴリズムに非政策データの使用を可能にすること。
• 報酬スケールに依存しないように正則化係数を自動的にスケーリングすることで、ハイパーパramータに頑健な手法を開発すること。
• 標準的な連続制御環境において、TRPO と同等またはそれ以上のパフォーマンスを達成するとともに、サンプル効率を著しく向上させること。

提案手法

• 最大報酬目的関数に相対エントロピー正則化子を導入し、信頼領域特性を維持する制約付き最適化問題に変換すること。
• エントロピー正則化下での最適方策および価値関数の経路的一致性の性質を活用し、オンポリシーおよび非政策データの両方を学習に使用できること。
• オフポリシー経験をレプレイバッファから収集し、方策と価値関数を交互に更新するアクター・クリティック手法として Trust-PCL を定式化すること。
• 現在のポリシーとターゲットポリシー間の相対エントロピーを用いた信頼領域制約を定義し、安定した方策更新を保証すること。
• 報酬の大きさに依存しないように正則化係数を自動的に決定するスケーリング機構を用い、ハイパーパramータへの感受性を低減すること。
• TRPO の安定性を維持しながら、効率的なオフポリシー学習を可能にする、シンプルでスケーラブルな訓練手順を実装すること。

実験結果

リサーチクエスチョン

• RQ1 最適化の安定性を損なわずに、連続制御における非政策的深層強化学習に信頼領域の原則を拡張できるか？
• RQ2 相対エントロピー正則化は、非政策の軌道全体にわたって方策および価値関数の経路的一致性をどのように維持できるか？
• RQ3 信頼領域手法において、非政策データの再利用はどの程度サンプル効率を向上させるか？ また、TRPO の高いパフォーマンスを保持できるか？
• RQ4 正則化係数を報酬スケールに依存しないように自動チューニングできるか？ これによりハイパーパramータへの感受性が低下するか？
• RQ5 標準的な連続制御ベンチマークにおいて、Trust-PCL は最終的パフォーマンスおよびサンプル効率の両面で TRPO を上回るか？

主な発見

• HalfCheetah において Trust-PCL は最終平均報酬 7057.1 を達成し、TRPO（4343.6）を上回り、最先端の結果と同等またはそれを上回っている。
• Walker2d では Trust-PCL が 5027.2 の平均報酬に到達し、TRPO（2838.4）を著しく上回り、サンプル効率の向上が顕著に現れている。
• Ant では Trust-PCL が 6104.2 の平均報酬を達成し、TRPO（4347.5）および IPG（4415）を上回っており、困難なタスクでも優れたパフォーマンスを示している。
• オフポリシー学習を用いた Trust-PCL は、オンポリシーの変種と比較してはるかに少ない環境相互作用回数で競争力のあるパフォーマンスを達成しており、サンプル効率の顕著な向上が確認された。
• すべての評価済み環境において、探索ハイパーパramータ τ にほとんど感受性を示さず、τ=0 であっても良好に動作することが確認された。
• ハイパーパラメータのアブレーション実験から、信頼領域サイズ ε が極めて重要であることが判明した。ε を大きくすると不安定化が生じ、非政策設定における信頼領域制約の必要性が裏付けられた。