[論文レビュー] Asynchronous Methods for Model-Based Reinforcement Learning.

Yunzhi Zhang, Ignasi Clavera+2 more|arXiv (Cornell University)|Oct 28, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、モデル学習とポリシー最適化を非同期に並列化することで、データ収集時間と同等の壁時計時間でトレーニングを実現する非同期フレームワークを提案する。この手法により、不完全なダイナミクスモデルへのポリシーの過適合を軽減し、より良い探索を実現することでサンプル効率が向上し、MuJoCoベンチマークおよび実世界のロボット操作タスクにおいて最先端の性能を達成する。

ABSTRACT

Significant progress has been made in the area of model-based reinforcement learning. State-of-the-art algorithms are now able to match the asymptotic performance of model-free methods while being significantly more data efficient. However, this success has come at a price: state-of-the-art model-based methods require significant computation interleaved with data collection, resulting in run times that take days, even if the amount of agent interaction might be just hours or even minutes. When considering the goal of learning in real-time on real robots, this means these state-of-the-art model-based algorithms still remain impractical. In this work, we propose an asynchronous framework for model-based reinforcement learning methods that brings down the run time of these algorithms to be just the data collection time. We evaluate our asynchronous framework on a range of standard MuJoCo benchmarks. We also evaluate our asynchronous framework on three real-world robotic manipulation tasks. We show how asynchronous learning not only speeds up learning w.r.t wall-clock time through parallelization, but also further reduces the sample complexity of model-based approaches by means of improving the exploration and by means of effectively avoiding the policy overfitting to the deficiencies of learned dynamics models.

研究の動機と目的

• 最先端のモデルベース強化学習アルゴリズムが、短い相互作用期間であっても数日もかかる長時間の壁時計トレーニング時間を解消すること。
• データ収集時間と同等のトレーニング時間に短縮することで、実際のロボットでのリアルタイム学習を可能にすること。
• 不正確なダイナミクスモデルへのポリシーの過適合を軽減し、探索の向上によってサンプル効率を向上させること。
• 非同期フレームワークが、シミュレーテッドMuJoCo環境および実世界のロボット操作タスクの両方で有効であることを実証すること。

提案手法

• フレームワークはモデル学習とポリシー最適化を分離し、非同期かつ並列に実行可能である。
• 遷移を格納するリプレイバッファを用い、ダイナミクスモデルとポリシーネットワークの独立した更新を可能にする。
• 別個の行動方策を用いたオフポリシーのデータ収集を採用し、データ生成と学習を分離する。
• 非同期確率的勾配降下法を用いて、ダイナミクスモデルとポリシーネットワークを並列にトレーニングし、トレーニングスループットを向上させる。
• 学習中の探索を強化するために、内因的好奇心や探索ボーナスを統合する。
• より多様なデータを用いた更新により、信頼性の低いダイナミクスモデルへの依存を最小限に抑え、過適合を軽減する。

実験結果

リサーチクエスチョン

• RQ1 非同期トレーニングは、モデルベース強化学習における壁時計時間をデータ収集時間と一致させることができるか？
• RQ2 非同期学習は、モデルベース強化学習における探索の向上によってサンプル効率を改善できるか？
• RQ3 非同期トレーニングは、学習されたダイナミクスモデルの不正確さに起因するポリシーの過適合を緩和できるか？
• RQ4 標準的なMuJoCoベンチマークにおいて、非同期フレームワークは同期手法と比較してどのように性能を発揮するか？
• RQ5 このフレームワークは、実世界のロボット操作タスクにおける実用的なリアルタイム学習を可能にするか？

主な発見

• 非同期フレームワークにより、壁時計トレーニング時間がデータ収集時間と一致し、リアルタイム学習の可能性が達成された。
• より良い探索を可能にする手法により、シミュレーションおよび実世界のタスクの両方で高速な収束が実現され、サンプル効率が向上した。
• 非同期更新と多様なデータの利用により、不正確なダイナミクスモデルへのポリシーの過適合が顕著に軽減された。
• MuJoCoベンチマークにおいて、本フレームワークは最先端のモデルフリーおよびモデルベース手法と同等またはそれ以上の漸近的性能を達成した。
• 3つの実世界のロボット操作タスクにおいて、優れた一般化性能とロバスト性を示し、リアルタイムロボット制御への実用性が検証された。