[論文レビュー] Local Search for Policy Iteration in Continuous Control

Jost Tobias Springenberg, Nicolas Heess+11 more|arXiv (Cornell University)|Oct 12, 2020

Reinforcement Learning in Robotics参考文献 55被引用数 8

ひとこと要約

本稿では、連続制御における局所的で正則化された方策改善を統合的に扱うための TreePI を提案する。モデルフリーとモデルベース強化学習を統合し、学習済みまたは正確な環境モデルを用いた木構造探索を方策改善に活用することで、特に高精度なモデルが利用可能な場合に、優れたデータ効率性とウォールクロック時間の高速化を達成する。

ABSTRACT

We present an algorithm for local, regularized, policy improvement in reinforcement learning (RL) that allows us to formulate model-based and model-free variants in a single framework. Our algorithm can be interpreted as a natural extension of work on KL-regularized RL and introduces a form of tree search for continuous action spaces. We demonstrate that additional computation spent on model-based policy improvement during learning can improve data efficiency, and confirm that model-based policy improvement during action selection can also be beneficial. Quantitatively, our algorithm improves data efficiency on several continuous control benchmarks (when a model is learned in parallel), and it provides significant improvements in wall-clock time in high-dimensional domains (when a ground truth model is available). The unified framework also helps us to better understand the space of model-based and model-free algorithms. In particular, we demonstrate that some benefits attributed to model-based RL can be obtained without a model, simply by utilizing more computation.

研究の動機と目的

• 追加の計算が、モデルベース学習に代わってデータ効率性を向上させられるかどうかという問いに答える。
• 学習段階および行動選択段階で環境モデルを用いた方策改善の利点を調査する。
• 連続制御におけるモデルフリーとモデルベースの要素を柔軟に融合できる統合フレームワークを構築する。
• 正確なモデルが利用可能な場合に、モデルベースの探索が学習を顕著に高速化できることを示す。
• 計算の役割を政策最適化において明確にし、より多くの計算がモデルベース手法と同等の利点をもたらす可能性を示す。

提案手法

• 方策改善、学習、実行を分離するKL正則化付き方策反復フレームワークを定式化する。
• TreePI を導入し、近似的または正確な環境モデルを用いて連続的行動空間における局所的木探索を実行するモデルベースのバージョンを提供する。
• モンテカルロ木探索に類似したバックアップを用いてソフト-Q値の近似を実現し、方策更新をガイドする。
• パrametric方策、価値関数、モデルの柔軟な統合を可能とし、モデルフリーおよびモデルベースの両方のバージョンを実現する。
• 学習済みおよび真値の環境モデルを用いて、連続制御ベンチマークにフレームワークを適用する。
• 正則化付き方策勾配を用いて方策を最適化し、探索ベースの更新により方策改善ステップを向上させる。

実験結果

リサーチクエスチョン

• RQ1 方策学習中に追加の計算を用いることで、モデルを必要とせずとも、モデルベース手法と同等のデータ効率性を達成できるか？
• RQ2 学習中に学習済みモデルを方策改善に用いることで、モデルフリーのベースラインに比べてデータ効率性が向上するか？
• RQ3 行動選択段階でのモデルベース木探索が、データ効率性と学習速度を向上させるか？
• RQ4 推論段階で正確なモデルを用いて局所的探索を実行する場合、高スルーレットのモデルフリー学習と比較して計算的トレードオフの利点があるか？
• RQ5 統合フレームワークは、連続制御におけるモデルフリーとモデルベースアプローチの間を滑らかに補間できるか？

主な発見

• 学習済みモデルを用いたモデルベース方策改善は、最先端のモデルフリーアルゴリズムに比べて顕著にデータ効率性が向上する。
• 真値のモデルが利用可能な場合、行動選択段階での局所的探索により、分散型モデルフリー手法と比較してウォールクロック時間の訓練時間を最大5倍短縮できる。
• モデルが存在しない場合でも、方策更新回数を増やすことでデータ効率性の向上を達成する。これは、計算をモデル使用に代えることができるという証明である。
• TreePI は、高次元の連続的制御タスクにおいて、正確なモデルと近似的なモデルの両方に対して頑健に動作する。
• フレームワークにより、モデルベースRLに帰属される一部の利点が、モデルが存在しない状況でも計算量の増加によって達成可能であることが明らかになった。
• 統合フレームワークにより、連続制御におけるモデルベースとモデルフリーのアプローチのトレードオフをよりよく理解できるようになった。