[論文レビュー] Visual Adversarial Imitation Learning using Variational Models

Rafael Rafailov, Tianhe Yu+2 more|arXiv (Cornell University)|Jul 16, 2021

Reinforcement Learning in Robotics参考文献 47被引用数 5

ひとこと要約

本稿では、潜在空間ダイナミクスモデルと識別器を用いて、視覚的デモンストレーションから視覚的運動方策を学習する、モデルベースの敵対的模倣学習フレームワークであるV-MAILを提案する。モデル内でのオンポリシー・ロールアウトを可能にすることで、V-MAILは安定的でサンプル効率の高い学習を達成し、環境との相互作用なしに新しいタスクへのゼロショット転送を可能にし、優れた漸近的性能を発揮する。

ABSTRACT

Reward function specification, which requires considerable human effort and iteration, remains a major impediment for learning behaviors through deep reinforcement learning. In contrast, providing visual demonstrations of desired behaviors often presents an easier and more natural way to teach agents. We consider a setting where an agent is provided a fixed dataset of visual demonstrations illustrating how to perform a task, and must learn to solve the task using the provided demonstrations and unsupervised environment interactions. This setting presents a number of challenges including representation learning for visual observations, sample complexity due to high dimensional spaces, and learning instability due to the lack of a fixed reward or learning signal. Towards addressing these challenges, we develop a variational model-based adversarial imitation learning (V-MAIL) algorithm. The model-based approach provides a strong signal for representation learning, enables sample efficiency, and improves the stability of adversarial training by enabling on-policy learning. Through experiments involving several vision-based locomotion and manipulation tasks, we find that V-MAIL learns successful visuomotor policies in a sample-efficient manner, has better stability compared to prior work, and also achieves higher asymptotic performance. We further find that by transferring the learned models, V-MAIL can learn new tasks from visual demonstrations without any additional environment interactions. All results including videos can be found online at \url{https://sites.google.com/view/variational-mail}.

研究の動機と目的

• 視覚的デモンストレーションからの視覚的模倣学習における表現学習、サンプル複雑性、訓練不安定性の課題に対処すること。
• 行動クラーニングやモデルフリーな敵対的模倣学習の限界、例えば分布シフトや劣った漸近的性能を克服すること。
• 追加の環境相互作用なしに、わずかな視覚的デモンストレーションのみを用いて、新しいタスクへのゼロショット転送を可能にすること。
• オンポリシー・ロールアウトと自己教師付き表現学習を活用した変分ダイナミクスモデルにより、訓練安定性とサンプル効率を向上させること。
• 高次元の視覚的観測空間における、モデルベースRLと敵対的模倣学習を統合する包括的なフレームワークの構築

提案手法

• 視覚的観測の再構成と将来状態の予測を目的とした、変分的潜在空間ダイナミクスモデルを訓練し、表現学習と環境モデリングを統合的に実現する。
• モデルが合成的なオンポリシー・ロールアウトを生成することで、実環境との相互作用への依存を軽減し、敵対的訓練の安定化を図る。
• 識別器を訓練して、エキスパートのデモンストレーションからの潜在状態と、エージェントのロールアウトからの潜在状態を区別させ、ポリシー最適化のための報酬信号を提供する。
• ポリシーは識別器の出力を報酬として使用して訓練され、エージェントがエキスパートの状態訪問分布に一致するように促進される。
• 変分モデルの画像エンコーダーとポリシー・ネットワークを統合し、エンドツーエンドで視覚的運動方策を形成する。
• 新しいタスクのデモンストレーションを用いて事前に訓練されたダイナミクスモデルを再利用することで、ゼロショット転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな手法と比較して、変分的モデルベースのアプローチは、視覚的模倣学習におけるサンプル効率と訓練安定性を向上させることができるか？
• RQ2 学習されたダイナミクスモデルは、実環境との相互作用なしに効果的なオンポリシー・ロールアウトを可能にし、サンプル複雑性を低減できるか？
• RQ3 事前に訓練されたモデルが、視覚的デモンストレーションのみを用いて、新しいタスクへのゼロショット転送をどの程度可能にするか？
• RQ4 変分フレームワークにおける表現学習とダイナミクスモデリングの統合が、視覚的制御タスクにおける漸近的性能にどのように影響を与えるか？
• RQ5 潜在状態分布からの敵対的報酬信号は、高次元の視覚的設定において、行動クラーニングや先行する敵対的模倣学習を上回ることができるか？

主な発見

• V-MAILは、先行手法よりも高い漸近的性能を達成し、視覚的走破や操作タスクにおいて、エキスパートレベルの性能に近づくことがある。
• 従来の敵対的模倣学習手法が見せる不安定で不規則な訓練曲線とは対照的に、V-MAILは安定的でほぼ単調増加の学習曲線を示す。
• V-MAILは優れたサンプル効率を示し、ベースライン手法と比較して、はるかに少ない環境相互作用で成功したポリシーを学習する。
• ゼロショット模倣学習において、V-MAILは追加の環境相互作用なしに、わずかな視覚的デモンストレーションのみを用いて新しいタスクを効果的に学習する。
• 大多数のタスクにおいて、V-MAILは先行手法で見られた20％のしきい値を大幅に上回る性能を達成しており、漸近的成功率の顕著な向上を示している。
• モデルベースのアプローチにより、視覚入力からの効果的な表現学習が可能となり、識別器の正則化と一般化性能の向上が図られる。