[論文レビュー] Provable Representation Learning for Imitation with Contrastive Fourier Features

Ofir Nachum, Mengjiao Yang|arXiv (Cornell University)|May 26, 2021

Reinforcement Learning in Robotics参考文献 41被引用数 7

ひとこと要約

本稿では、サンプル効率を向上させるために、対照的フーリエ特徴量を用いた、証明可能に有効な表現学習手法を、模倣学習に提案する。低次元のターゲット方策であるかどうかにかかわらず、方策性能差の上界がタイトなまま保たれるように導出され、その目的関数は、ランダムフーリエ特徴量またはエネルギーに基づくモデルを用いた対照的学習により実装され、Atariおよびテーブル型環境で顕著な向上が得られている。

ABSTRACT

In imitation learning, it is common to learn a behavior policy to match an unknown target policy via max-likelihood training on a collected set of target demonstrations. In this work, we consider using offline experience datasets - potentially far from the target distribution - to learn low-dimensional state representations that provably accelerate the sample-efficiency of downstream imitation learning. A central challenge in this setting is that the unknown target policy itself may not exhibit low-dimensional behavior, and so there is a potential for the representation learning objective to alias states in which the target policy acts differently. Circumventing this challenge, we derive a representation learning objective that provides an upper bound on the performance difference between the target policy and a lowdimensional policy trained with max-likelihood, and this bound is tight regardless of whether the target policy itself exhibits low-dimensional structure. Moving to the practicality of our method, we show that our objective can be implemented as contrastive learning, in which the transition dynamics are approximated by either an implicit energy-based model or, in some special cases, an implicit linear model with representations given by random Fourier features. Experiments on both tabular environments and high-dimensional Atari games provide quantitative evidence for the practical benefits of our proposed objective.

研究の動機と目的

• 教師データが限られる場合の行動コーディングにおけるサンプル非効率の課題に対処するため、大規模なオフラインデータセットを活用する。
• 表現学習におけるアリスティング問題（異なるターゲット方策行動を持つ状態が同じ表現に縮退する問題）を克服する。
• ターゲット方策の固有次元性にかかわらず、下流の行動コーディングがターゲット方策に一致することを保証する理論的根拠に基づいた表現学習目的関数を提供する。
• 実用的な対照的学習手法と、オフライン模倣学習における理論的保証のギャップを埋める。
• 提案手法が、テーブル型および高次元環境の両方で、DeepMDP や DBC などの既存の潜在空間モデルを上回ることを示す。

提案手法

• ターゲット方策が低次元であるかどうかにかかわらず成り立つ、最大尤度で訓練された低次元方策とターゲット方策との性能差の上界を導出する。
• この上界を最小化する表現学習目的関数を定式化し、利用可能な場合、ダイナミクスと報酬を組み込む。
• 目的関数を、暗黙のエネルギーに基づくモデルによって近似された遷移ダイナミクスに基づいて正例ペアを形成する対照的学習手順として実装する。
• ランダムフーリエ特徴量を用いて表現をパラメータ化し、線形ダイナミクス近似の効率的かつスケーラブルな学習を可能にする。
• 表現学習フェーズと下流の行動コーディングを分離し、BCのファインチューニング中に表現を固定することで理論的保証を確保する。
• 線形パラメータ化されたダイナミクスと報酬を表現目的関数に組み込むことで、線形方策への拡張を図り、理論的バインディングを維持する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット方策の固有次元性にかかわらず、ターゲット方策と低次元方策との性能差を証明可能に小さくする表現学習目的関数を設計できるか？
• RQ2 ターゲット方策が低次元構造を示さない場合、特にターゲット分布から離れたオフラインデータが存在する状況で、表現学習におけるアリスティングを回避する方法は何か？
• RQ3 ランダムフーリエ特徴量を用いた対照的学習は、スケーラブルで実用的な方法として、線形ダイナミクスモデルを効果的に近似できるか？
• RQ4 提案手法は、Atariゲームにおけるサンプル効率および性能の観点で、DeepMDP や DBC などの既存の潜在空間モデルと比較してどのように差をつけるか？
• RQ5 理論的上界は実際の状況でも成り立つのか？ また、多様な環境において一貫した性能向上を達成するために利用可能か？

主な発見

• 提案された対照的フーリエ特徴量手法は、60種類のAtari 2600ゲームの半数以上で、バニラ行動コーディングに比べて40％以上の性能向上を達成した。
• エネルギーに基づくモデルによる対照的目的関数のパラメータ化も顕著な向上をもたらし、バニラBCを上回り、エンドツーエンドでファインチューニングされた潜在空間モデルと同等またはそれを上回る性能を示した。
• DeepMDP や DBC でさえ、別個の損失として用いられた場合、バニラBCに比べてほとんど向上せず、エンドツーエンド訓練でさえ、対照的学習に劣ることがわかった。
• ターゲット方策が低次元であるか否かにかかわらず、方策性能差の理論的上界がタイトに保たれ、この手法のロバスト性が裏付けられた。
• 行動コーディングの訓練中に表現を固定することで、エンドツーエンドファインチューニングよりも一般化性能と性能が向上し、特に対照的フーリエ特徴量で表現を学習した場合に顕著であった。
• 大規模なオフラインデータセット（例：DQNリプレイから得た5000万件の遷移）を効果的に活用することで、ターゲット方策分布から離れたデータであっても、模倣学習のサンプル効率を顕著に向上させた。