[論文レビュー] Learning a Multi-Modal Policy via Imitating Demonstrations with Mixed Behaviors

Fang-I Hsiao, Jui-Hsuan Kuo+1 more|arXiv (Cornell University)|Mar 25, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 7

ひとこと要約

本稿では、行動ラベルなしで混合エキスパートデモからマルチモーダルな方策を学習するため、カテゴリカルな潜在変数を備えた変分オートエンコーダを提案する。離散的潜在要因による異なる行動の分離により、条件付けによって正確な行動制御が可能となり、高次元の視覚入力や未知の行動数に対するゼロショット一般化を含むタスクで、教師あり手法と同等の性能を達成する。

ABSTRACT

We propose a novel approach to train a multi-modal policy from mixed demonstrations without their behavior labels. We develop a method to discover the latent factors of variation in the demonstrations. Specifically, our method is based on the variational autoencoder with a categorical latent variable. The encoder infers discrete latent factors corresponding to different behaviors from demonstrations. The decoder, as a policy, performs the behaviors accordingly. Once learned, the policy is able to reproduce a specific behavior by simply conditioning on a categorical vector. We evaluate our method on three different tasks, including a challenging task with high-dimensional visual inputs. Experimental results show that our approach is better than various baseline methods and competitive with a multi-modal policy trained by ground truth behavior labels.

研究の動機と目的

• ラベルなしの混合デモから事前に定義された行動ラベルなしに複数の行動を学習する課題に対処すること。
• 離散的潜在コードに条件づけることで、特定の行動を再現できる制御可能な方策を開発すること。
• データ内の行動数を事前に知らずに、異なる行動のゼロショット発見を可能にすること。
• 自動運転タスクのような高次元視覚入力にスケーラブルに適用できること。
• 真の行動アノテーションが存在しない状況でも、既存のアシスト学習およびVAEベースの手法を上回るマルチモーダル行動学習性能を達成すること。

提案手法

• 混合デモ内の離散的行動モードをモデル化するために、カテゴリカルな潜在変数を備えた変分オートエンコーダ（VAE）を用いる。
• エンコーダは、デモ軌道から特定の行動に対応するカテゴリカルな潜在要因を推論する。
• デコーダは、対応する行動を再現するため、カテゴリカルな潜在コードに条件づけて行動を生成する方策として機能する。
• 連続的潜在変数には標準正規分布を、離散的行動コードにはカテゴリカル分布を事前分布として用いることで、分離可能な表現学習を可能にする。
• 高次元入力タスク（例：自動車運転）では、GoogLeNetの最終層の直前から視覚特徴を抽出することで、トランスファー学習を適用する。
• 再パラメータライゼーショントリックを用い、Gumbel-Softmaxを介して離散的潜在変数を経由してバックプロパゲーションが可能となる、エンドツーエンドのVAE訓練を実装する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリカルな潜在変数を備えたVAEは、ラベルなしの混合デモから複数の明確に異なる行動を効果的に発見・分離できるか？
• RQ2 行動ラベルなしであっても、離散的潜在コードに条件づけることで、各行動の高精度な模倣が可能か？
• RQ3 自動運転シナリオのような高次元視覚入力に対しても、この手法は一般化可能か？
• RQ4 行動数を事前に知らずに、データ内に存在するすべての異なる行動を発見できるか？
• RQ5 真の行動アノテーションが存在しない状況で、教師ありベースラインおよび他のVAEベース手法と比較して、行動の分離度と模倣精度の両面で優れた性能を示せるか？

主な発見

• ロボットアームタスクにおいて、混合デモから8つの明確に異なる行動を学習・再現し、1-of-Kベクトルに条件づけることでエキスパートの速度を正確に再現した。
• 高次元視覚入力を持つTORCS自動車運転タスクでは、画像特徴のみを用いて方向と速度の行動が明確に分離され、強力な一般化能力を示した。
• カテゴリ数が実際の行動数を上回る場合でも、すべての異なる行動を発見し、類似した行動をまとめることが可能で、過パrameter化に対して強いことが示された。
• カテゴリ数が実際の行動数を下回る場合でも、モデルは依然として明確に異なる行動を特定・分離でき、潜在構造を発見する柔軟性を示した。
• 真の行動アノテーションが存在しないにもかかわらず、真の行動ラベル付きで学習された教師ありマルチモーダル方策と同等の性能を達成した。
• 行動数が事前に分かっていなくても、未知の行動に一般化し、分離可能な表現を維持することができた。