[論文レビュー] An Empirical Investigation of Representation Learning for Imitation

Xin Chen, Sam Toyer+10 more|arXiv (Cornell University)|May 16, 2022

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 7

ひとこと要約

本論文は、視覚ベースの環境における模倣学習（IL）の性能を向上させるために表現学習（RepL）が有効かどうかを、多様なRepL手法を評価可能なモジュラー枠組みを用いて調査する。複数のベンチマークにわたり広範なテストを行ったが、RepLはすでに十分に最適化された画像拡張ベースラインに対しては限定的な利点しか示さなかった。これは、強力なデータ拡張が適用されている状況では、現在のRepL技術がILにおいて顕著な利点を提供しない可能性を示唆している。

ABSTRACT

Imitation learning often needs a large demonstration set in order to handle the full range of situations that an agent might find itself in during deployment. However, collecting expert demonstrations can be expensive. Recent work in vision, reinforcement learning, and NLP has shown that auxiliary representation learning objectives can reduce the need for large amounts of expensive, task-specific data. Our Empirical Investigation of Representation Learning for Imitation (EIRLI) investigates whether similar benefits apply to imitation learning. We propose a modular framework for constructing representation learning algorithms, then use our framework to evaluate the utility of representation learning for imitation across several environment suites. In the settings we evaluate, we find that existing algorithms for image-based representation learning provide limited value relative to a well-tuned baseline with image augmentations. To explain this result, we investigate differences between imitation learning and other settings where representation learning has provided significant benefit, such as image classification. Finally, we release a well-documented codebase which both replicates our findings and provides a modular framework for creating new representation learning algorithms out of reusable components.

研究の動機と目的

• 視覚ベースの環境における模倣学習の性能向上に表現学習が寄与するかどうかを体系的に評価すること。
• 模倣学習における性能に影響を与えるRepLアルゴリズムの設計軸（例：対照学習、モーメンタム、プロジェクションヘッド、事前学習対比・同時学習）を同定すること。
• RepLを用いた模倣学習の再現可能な実験を可能にするモジュラーかつ拡張可能なコードベースを構築すること。
• 表現学習が視覚や強化学習で成功している一方で、模倣学習では限られた効果にとどまる理由を解明すること。
• 学習された表現と方策を分析し、今後の研究の仮説を明らかにすること。

提案手法

• 著者らは、拡張、モーメンタム、プロジェクションヘッド、事前学習対比・同時学習といった、RepLの主要な設計選択を独立したコンponentsに分離するモジュラー枠組みを設計した。
• 彼らは、DeepMind Control Suite（DMC）、Procgen、MAGICALの3つのベンチマークで、12種類のRepL手法を検証し、下流のILアルゴリズムとして行動クラッシファイケーション（BC）とGAILを用いた。
• 再現性と拡張性を高めるために、ドキュメントが整備されたオープンソースのコードベースを公開した。
• 著者らは、類似度マップとクラスタリングを用いて、学習された表現と方策を分析し、タスクや手法間での違いを比較した。
• 公平な評価を確保するため、画像拡張のみを用いた強力なベースラインと、RepLの性能を比較した。
• 属性付け手法とクラスタリングを用いて、表現が、エキスパートの報酬やアクション固有の特徴といった、タスク関連の不変性を学習しているかどうかを検証した。

実験結果

リサーチクエスチョン

• RQ1 強力なデータ拡張ベースラインと比較して、視覚ベースの環境における模倣学習の性能向上に表現学習が寄与するか？
• RQ2 対照学習、モーメンタム、プロジェクションヘッドといったRepLの設計選択が、IL性能にどのように影響を与えるか？
• RQ3 視覚や強化学習では成功しているにもかかわらず、なぜ表現学習は模倣学習では限定的な効果しか示さないのか？
• RQ4 RepLベースのILモデルで学習された表現は、エキスパートの報酬やアクション固有の状態特徴といった、タスク関連の不変性を捉えているか？
• RQ5 RepLの性能は、異なるベンチマーク環境でどのように変動し、その違いの背後にはどのような要因があるか？

主な発見

• 平均して、RepL手法はヴァナイルBCを上回るが、その向上はほとんどがすでに最適化された画像拡張によるものであり、複雑なRepLの追加的利点は限定的であることが示された。
• DMCではRepLが中程度の向上を示したが、ProcgenとMAGICALでは性能向上はほとんどなく、ベンチマーク固有の要因が顕著に影響していることがわかった。
• 類似度マップの分析から、SimCLRで学習された表現はCoinRun（Procgen）で背景の特徴に注目していることが判明したが、障害物やコインといったフォアグラウンドの手がかりほど重要性が低く、タスク性能を低下させた。
• 指回し（finger-spin、DMC）では、SimCLRがフレーム間で変化するフォアグラウンドオブジェクトに注目しており、これがより情報量が多く、性能向上につながった。
• クラスタリング解析から、RepLで学習された表現は、アクションではなくエキスパートの報酬に基づいてより強くクラスタリングされていることがわかった。これは、価値関連の不変性を捉えているが、方策固有の特徴は学習していないことを示唆している。
• 報酬関数を近似するGAILのディスクライマーは、RepL事前学習の恩恵を顕著に受けておらず、この設定下では報酬学習が方策学習よりもRepLに適しているとは言えないことが示された。