[論文レビュー] Model Imitation for Model-Based Reinforcement Learning

Yueh-Hua Wu, Ting-Han Fan+2 more|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 41被引用数 6

ひとこと要約

本稿では、学習済みの環境モデルからのマルチステップロールアウトと現実環境からのものとの間で、WGANを用いた分布マッチングを行うモデルインスティチューション（MI）という、モデルベース強化学習手法を提案する。実環境と合成環境の間の占有測度の乖離を最小化することで、最先端のMBRLおよびMFRL手法に比べ、優れたサンプル効率とポリシー性能を達成し、累積報酬の類似性について理論的保証を有する。

ABSTRACT

Model-based reinforcement learning (MBRL) aims to learn a dynamic model to reduce the number of interactions with real-world environments. However, due to estimation error, rollouts in the learned model, especially those of long horizons, fail to match the ones in real-world environments. This mismatching has seriously impacted the sample complexity of MBRL. The phenomenon can be attributed to the fact that previous works employ supervised learning to learn the one-step transition models, which has inherent difficulty ensuring the matching of distributions from multi-step rollouts. Based on the claim, we propose to learn the transition model by matching the distributions of multi-step rollouts sampled from the transition model and the real ones via WGAN. We theoretically show that matching the two can minimize the difference of cumulative rewards between the real transition and the learned one. Our experiments also show that the proposed Model Imitation method can compete or outperform the state-of-the-art in terms of sample complexity and average return.

研究の動機と目的

• 学習済みダイナミクスモデルにおける累積推定誤差が原因で生じるモデルベース強化学習のサンプル非効率性を解消すること。
• 1ステップ遷移モデリングにおける教師あり学習の限界を克服すること。これは、長時間スパンのロールアウト類似性を保証できないためである。
• 同じポリシー下での現実世界のロールアウトと類似する合成ロールアウトを保証することで、ポリシー勾配推定を改善すること。
• 分布マッチングが実環境と学習済み環境間の累積報酬差を低減することの有効性について、理論的裏付けを提供すること。
• 切り捨てられたWGANと混合占有測度マッチングを用いることで、モデルインスティチューションフレームワークの訓練を安定化させること。

提案手法

• 本手法は、実環境のロールアウトと学習済みモデルが生成する合成ロールアウトから得られる状態・行動・次状態のトリプレット (s, a, s') の同時分布を、WGANフレームワークを用いてマッチングする。
• 学習済みモデルはGANにおけるジェネレータとして機能し、実環境と合成環境のロールアウトを区別するためのクリティックネットワークが訓練をガイドする。
• ジェネレータ（モデル）とクリティックの更新を交互に繰り返すことで、合成ロールアウト分布を実環境のものに近づける。
• モード崩壊を防ぎ、複数回のWGAN反復における訓練を安定化させるために、切り捨てられたWGANの変種が採用される。
• 一般化性能の向上と重み転送の可能性を高めるために、単一ポリシーの分布ではなく、複数ポリシーの占有測度の混合をマッチングする。
• 本手法はモデルベースRLパイプラインに統合され、模倣されたモデルからのロールアウトを用いて、サンプル効率の高いポリシー学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 WGANによる分布マッチングは、教師あり1ステップ学習に比べ、モデルベース強化学習における長時間スパンのロールアウトの忠実性を向上させることができるか？
• RQ2 実環境と合成ロールアウトの占有測度をマッチングすることで、累積報酬の近似精度とポリシー性能が向上するか？
• RQ3 提案手法は、最先端のモデルフリーおよびモデルベースRLアルゴリズムに比べ、優れたサンプル効率を達成できるか？
• RQ4 複数ポリシーの占有測度の混合を用いることで、モデルインスティチューションにおける訓練の安定性と一般化性能が向上するか？
• RQ5 提案された分布マッチング目的関数のもとで、実環境と学習済み環境間の累積報酬差に理論的上限は存在するか？

主な発見

• Model Imitationは、連続制御ベンチマークにおいて、TRPO、PPO、SLBO、PETS、METRPO、STEVEを含む最先端のMBRLおよびMFRL手法に比べ、より速い収束と高い平均報酬を達成する。
• MIは、50%少ない環境インタラクションで全比較手法を上回り、140kタイムステップでベースライン手法（200kタイムステップ）に比べ優れた性能を達成する。
• Ant環境では、MIが平均報酬を約1,000まで向上させ、他の手法と比較してより正確なダイナミクスモデルを捉えていることを示している。
• 理論的解析により、実環境と学習済み環境間の累積報酬差が、WGANの訓練誤差に対して線形に有界であることが示され、強力な一般化保証が得られる。
• 複数ポリシーの占有測度の混合を用いることで、単一ポリシーのマッチングに比べ、安定な重み転送と一般化性能の向上が可能になる。単一ポリシーのマッチングでは分布誤差が生じる。
• 切り捨てられたWGANの変種を用いることで、標準GANに見られる局所最適解やモード崩壊を回避し、訓練が安定化する。