[論文レビュー] Temporal Difference Models: Model-Free Deep RL for Model-Based Control

Vitchyr H. Pong, Shixiang Gu+2 more|arXiv (Cornell University)|Feb 25, 2018

Reinforcement Learning in Robotics参考文献 27被引用数 44

ひとこと要約

Temporal Difference Models (TDMs) は、モデルフリー学習で訓練される目標条件付き価値関数のファミリーであり、計画の暗黙的モデルとして機能し、モデルフリーの漸近性と共にモデルベースの効率性を実現します。

ABSTRACT

Model-free reinforcement learning (RL) is a powerful, general tool for learning complex behaviors. However, its sample efficiency is often impractically large for solving challenging real-world problems, even with off-policy algorithms such as Q-learning. A limiting factor in classic model-free RL is that the learning signal consists only of scalar rewards, ignoring much of the rich information contained in state transition tuples. Model-based RL uses this information, by training a predictive model, but often does not achieve the same asymptotic performance as model-free RL due to model bias. We introduce temporal difference models (TDMs), a family of goal-conditioned value functions that can be trained with model-free learning and used for model-based control. TDMs combine the benefits of model-free and model-based RL: they leverage the rich information in state transitions to learn very efficiently, while still attaining asymptotic performance that exceeds that of direct model-based RL methods. Our experimental results show that, on a range of continuous control tasks, TDMs provide a substantial improvement in efficiency compared to state-of-the-art model-based and model-free methods.

研究の動機と目的

• モデルベースの計画の効率とモデルフリーの漸近的性能を結びつける必要性を動機づける。
• Temporal Difference Models を、モデルフリーとモデルベースRLの橋渡しとして紹介する。
• リラベリングとマルチステップのホライズンが、TDMs のオフポリシー学習の効率化をいかに可能にするかを示す。
• TDMs が連続制御タスクでより優れたサンプル効率と最終性能を達成することを示す。

提案手法

• TDMs を、ホライズンパラメータ tau を持つ目標条件付き Q-関数として定義する。
• 距離ベースの報酬 D(s, s_g) と、ホライズン認識の Q 学習再発関係 Q(s, a, s_g, tau) を用いる。
• データ効率を最大化するため、異なる目標 g およびホライズン tau で経験をリラベリングする。
• 学習済み Q-関数を用いた MPC に似た計画によって方針を抽出するか、直接 Q に基づく行動選択によって方針を抽出する。
• 監督の向上を図るため、任意でベクトル値の距離報酬（次元ごと）を使用する。
• リプレイとターゲットネットワークを用いたオフポリシー学習のアルゴリズム（Algorithm 1）を提供する。）

実験結果

リサーチクエスチョン

• RQ1 計画ホライズン tau を持つ目標条件付き価値関数は、モデルベース学習とモデルフリー学習の間を補間できるのか？
• RQ2 Temporal Difference Models は連続制御タスクで純粋なモデルベース法またはモデルフリー法よりも良いサンプル効率を達成するのか？
• RQ3 異なる目標とホライズンでのリラベリングは、オフポリシー学習におけるデータ効率を改善するのか？
• RQ4 計画または直接制御における実用的な方針抽出において、TDMs はどう活用できるのか？
• RQ5 ベクトル化された距離報酬とホライズンパラメータの選択が性能に与える影響は何か？

主な発見

• TDMs は、いくつかの連続制御タスクにおいて最先端のモデルフリー法より大幅に良いサンプル効率を提供する。
• 難易度の高いタスクで、モデルバイアスの低減により最終性能で純粋なモデルベース法を上回る。
• 異なる目標とホライズンでのリラベリングはデータ効率の向上をもたらし、短期および長期の挙動を迅速に学習できる。
• ベクトル化された（次元ごと）距離報酬は、スカラー報酬に比べてサンプル効率を著しく向上させる。
• TDMs は現実世界のロボティクスにスケールし、Sawyer 7-DoF アームで DDPG と比較して学習効率が向上することを示している。
• アブレーションにより、ホライズン tau がモデルベースとモデルフリーの レジーム間の補間を制御し、ベクトル化が学習をスカラー報酬より改善することを示す。