[論文レビュー] TRAIL: Near-Optimal Imitation Learning with Suboptimal Data

Mengjiao Yang, Sergey Levine+1 more|arXiv (Cornell University)|Oct 27, 2021

Human Pose and Action Recognition参考文献 58被引用数 5

ひとこと要約

TRAILは、劣化したオффラインデータを活用してコントラスト型エネルギーに基づく遷移モデルを用いて要因分解された潜在的行動空間を学習する二段階の模倣学習フレームワークを提案する。これにより、限られた専門家デモンストレーションにおいても、サンプル効率の高い行動コーディングが可能になる。本手法は、事前学習に非常に劣化したデータ（たとえばランダムポリシー）を用いても、学習されたダイナミクスモデルを用いた行動の再パrametrizationにより、ベースラインの模倣学習比で最大4倍の性能向上を達成する。

ABSTRACT

The aim in imitation learning is to learn effective policies by utilizing near-optimal expert demonstrations. However, high-quality demonstrations from human experts can be expensive to obtain in large numbers. On the other hand, it is often much easier to obtain large quantities of suboptimal or task-agnostic trajectories, which are not useful for direct imitation, but can nevertheless provide insight into the dynamical structure of the environment, showing what could be done in the environment even if not what should be done. We ask the question, is it possible to utilize such suboptimal offline datasets to facilitate provably improved downstream imitation learning? In this work, we answer this question affirmatively and present training objectives that use offline datasets to learn a factored transition model whose structure enables the extraction of a latent action space. Our theoretical analysis shows that the learned latent action space can boost the sample-efficiency of downstream imitation learning, effectively reducing the need for large near-optimal expert datasets through the use of auxiliary non-expert data. To learn the latent action space in practice, we propose TRAIL (Transition-Reparametrized Actions for Imitation Learning), an algorithm that learns an energy-based transition model contrastively, and uses the transition model to reparametrize the action space for sample-efficient imitation learning. We evaluate the practicality of our objective through experiments on a set of navigation and locomotion tasks. Our results verify the benefits suggested by our theory and show that TRAIL is able to improve baseline imitation learning by up to 4x in performance.

研究の動機と目的

• 模倣学習における大規模な専門家デモンストレーションの取得コストの高い問題に対処すること。
• 性能が低いにもかかわらず、タスクに特化しないオフライン軌道が、下流の模倣学習を改善できるかどうかを調査すること。
• オフラインデータを用いて、専門家の模倣におけるサンプル効率を向上させる潜在的行動空間を学習する理論的根拠に基づいた手法を開発すること。
• 時間的抽象化や階層的構造に依存することを避け、制御効率の向上を目的とした行動表現学習に焦点を当てる。
• 専門家デモンストレーションとオフラインデータのみを用いて、再パrametr化された潜在空間で行動コーディングを実現する実用的なアルゴリズムを設計すること。

提案手法

• TRAILは、劣化したオフラインデータ上でコントラスト損失を用いて訓練されたエネルギーに基づくモデル（EBM）を用いて、要因分解された遷移モデルを事前学習する。
• 本手法は、潜在的行動から環境の行動に再マッピングするペアドアクションデコーダーを学習する。
• 専門家デモンストレーションは、学習された遷移モデルとアクションデコーダーを用いて潜在的行動空間に再パラメータ化される。
• 下流の模倣学習は、最大尤度推定を用いて潜在空間で行動コーディングにより実行される。
• 推論時、潜在的ポリシーとアクションデコーダーが組み合わせられ、元の行動空間での行動生成が行われる。
• 本フレームワークは、EBMベースと線形遷移モデルの両方のバリアントを用いて実装されており、特定の要因分解の下でサンプル効率に関する理論的保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 報酬信号を必要とせずに、劣化したオフラインデータを用いて模倣学習のサンプル効率を向上させることができるか？
• RQ2 劣化したデータから要因分解された潜在的行動空間を学習することで、下流の模倣学習性能が理論的にも向上するか？
• RQ3 学習された遷移モデルによる行動の再パラメータ化は、時間的抽象化や階層的スキル発見に依存する手法を上回ることができるか？
• RQ4 ランダムポリシーからの軌道のような低品質または極めて劣化したオフラインデータに対しても、本手法はどれほど頑健か？
• RQ5 報酬ラベルを一切使用しない状況でも、報酬ラベルを用いるオフラインRL手法（CRRなど）と同等の性能を達成できるか？

主な発見

• TRAILは、ナビゲーションおよびロケモーションタスクにおいて、事前学習に非常に劣化したデータを用いても、ベースラインの模倣学習性能を最大4倍まで向上させる。
• オフラインデータセットをRL Unplugged分布の下位5％にまで縮小しても、本手法は一貫した性能を維持するが、時間的スキル抽出手法は著しく劣化する。
• DeepMind Control Suiteタスクにおいて、TRAILは低次元および高次元制御問題の両方で、時間的抽象化に基づく手法を上回る性能を示す。
• 報酬ラベルを一切使用しないにもかかわらず、TRAILは6つのタスクのうち4つでCRR（オフラインRL手法）と同等またはそれ以上の性能を達成する。
• 専門家データが少ない場合（例：10,000の軌道）、線形バージョンのTRAILはEBMバージョンよりもわずかに優れた性能を示し、決定論的潜在ポリシーに関する理論的主張を支持する。
• 理論的分析により、潜在的行動空間が模倣学習のサンプル複雑性を低減することが示され、潜在空間内に時間的抽象化がなくても保証が成立することが分かった。