[論文レビュー] Learning what you can do before doing anything

Oleh Rybkin, Karl Pertsch+3 more|arXiv (Cornell University)|Jun 25, 2018

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

この論文では、モーター制御や行動ラベルにアクセスできない状況下で、ラベルなし動画観察からエージェントの行動空間を学習するためのCLASPを提案する。行動の最小で合成可能な潜在表現を学習するために、確率的動画予測モデルを訓練する。この手法はデータ効率が高く、行動ラベルを数個のオーダー少ない状況でも教師あり手法と同等の性能を達成し、学習された潜在行動空間における計画と制御を可能にする。

ABSTRACT

Intelligent agents can learn to represent the action spaces of other agents simply by observing them act. Such representations help agents quickly learn to predict the effects of their own actions on the environment and to plan complex action sequences. In this work, we address the problem of learning an agent's action space purely from visual observation. We use stochastic video prediction to learn a latent variable that captures the scene's dynamics while being minimally sensitive to the scene's static content. We introduce a loss term that encourages the network to capture the composability of visual sequences and show that it leads to representations that disentangle the structure of actions. We call the full model with composable action representations Composable Learned Action Space Predictor (CLASP). We show the applicability of our method to synthetic settings and its potential to capture action spaces in complex, realistic visual settings. When used in a semi-supervised setting, our learned representations perform comparably to existing fully supervised methods on tasks such as action-conditioned video prediction and planning in the learned action space, while requiring orders of magnitude fewer action labels. Project website: https://daniilidis-group.github.io/learned_action_spaces

研究の動機と目的

• モーター制御や行動ラベルにアクセスできない状況下で、完全に視覚的でラベルなしの動画データからエージェントの行動空間を学習すること。
• 静的シーンの状態や視覚的外観から行動構造を分離した表現を構築すること。
• 少数のラベル付き行動シーケンスのみを用いて、行動条件付き動画予測や計画といった下流タスクを効率的に行えるようにすること。
• 行動表現学習のための完全教師あり手法のデータ効率の高い代替手法を構築すること。
• 確率的動画予測フレームワーク内で行動の合成可能性と最小性をモデル化すること。

提案手法

• 静的ワールド状態に関する情報を最小限に抑えるように、シーンのダイナミクスを捉える潜在変数を備えた確率的動画予測モデルを訓練する。
• 潜在表現が行動の合成をサポートするようにする合成性損失を導入する（例：z1 と z2 が g(z1, z2) と同じ効果をもたらすように）。
• 潜在空間に現在のシーン状態に関する最小限の情報を含めるように制約を課し、最小性を確保する。
• ラベル付き行動シーケンスを条件として将来のフレームを予測するための潜在行動空間での計画を可能にする。
• 単純な線形分類器を用いて潜在空間から行動ラベルを復号し、行動構造の分離性を検証する。
• ラベルなし動画での事前学習を活用して、ラベル付き行動シーケンスが少ない半教師あり設定でも性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モーター制御や行動ラベルにアクセスできない状況下で、ラベルなし動画のみからエージェントの行動空間の構造をモデルが学習できるか？
• RQ2 潜在空間における合成性と最小性の制約が、分離可能で意味のある行動表現をもたらすか？
• RQ3 学習された潜在行動空間が、最小限のラベル付きデータで効果的な計画と行動条件付き動画予測を可能にするか？
• RQ4 背景や物体の外観の変化といった視覚的変化に対して、学習された表現はどれほど頑健か？
• RQ5 行動空間が互換性がある限り、異なる視覚的条件や異なるエージェントに対しても一般化可能か？

主な発見

• CLASPは、100本のラベル付き行動動画のみで、完全教師あり手法と同等の性能を達成し、行動条件付き動画予測と計画のタスクを実現した。これは、教師ありベースラインと比較して、行動ラベルの数が数個のオーダーも少ない。
• モデルは視覚的変化に対して優れた一般化性能を示した。CIFAR-10のランダム背景や変更されたリーチャーアームの寸法を含むシーケンスでも、正確な行動空間の同定と視覚的サーボ制御性能を維持した。
• 低データ環境（100〜1000本のラベル付き動画）では、ラベルなしデータでの有効な事前学習のおかげで、CLASPは教師ありベースラインを著しく上回った。
• 学習された潜在空間は視覚的外観に依存しない行動意味を捉えており、異なる視覚的条件下でも一貫した行動復号が可能であることが示された。
• 視覚的サーボ制御実験では、学習された潜在行動空間を用いて、リアルタイムで軌道を再計画でき、最小限のラベル付きデータでゴールまでの距離を低く抑えた。
• 合成性損失は、モデルが行動の分離可能な表現を学習するのを効果的に促進し、潜在空間から真の行動を正確に復号できるようにした。