[論文レビュー] Transformers for One-Shot Visual Imitation

Sudeep Dasari, Abhinav Gupta|arXiv (Cornell University)|Nov 11, 2020

Multimodal Machine Learning Applications参考文献 57被引用数 7

ひとこと要約

本論文は、教員エージェントのコンテキスト動画と自己教師付き逆ダイナミクス損失を活用することで、ドメインシフトに耐性を持つ1ショット視覚的模倣学習のためのトランスフォーマー基盤ポリシーを提案する。タスクに関連する視覚的特徴に注目し、ダイナミクスに配慮した表現を保持することで、1ショットの操作タスクにおいて、先行研究のベースラインと比較して成功率が約2倍向上した。

ABSTRACT

Humans are able to seamlessly visually imitate others, by inferring their intentions and using past experience to achieve the same end goal. In other words, we can parse complex semantic knowledge from raw video and efficiently translate that into concrete motor control. Is it possible to give a robot this same capability? Prior research in robot imitation learning has created agents which can acquire diverse skills from expert human operators. However, expanding these techniques to work with a single positive example during test time is still an open challenge. Apart from control, the difficulty stems from mismatches between the demonstrator and robot domains. For example, objects may be placed in different locations (e.g. kitchen layouts are different in every house). Additionally, the demonstration may come from an agent with different morphology and physical appearance (e.g. human), so one-to-one action correspondences are not available. This paper investigates techniques which allow robots to partially bridge these domain gaps, using their past experience. A neural network is trained to mimic ground truth robot actions given context video from another agent, and must generalize to unseen task instances when prompted with new videos during test time. We hypothesize that our policy representations must be both context driven and dynamics aware in order to perform these tasks. These assumptions are baked into the neural network using the Transformers attention mechanism and a self-supervised inverse dynamics loss. Finally, we experimentally determine that our method accomplishes a $\sim 2$x improvement in terms of task success rate over prior baselines in a suite of one-shot manipulation tasks.

研究の動機と目的

• 異なるレイアウトや形状（モーフォロジー）を含むドメインシフトが生じる状況下で、1回の示範から学習するロボットアームの1ショット視覚的模倣の課題に対処すること。
• 低データ環境下で一般化性能が著しく低下し、過学習を起こしやすい、行動クラーニングに依存する先行手法の限界を克服すること。
• 文脈駆動型かつダイナミクスに配慮したポリシーを構築し、未観測のタスク例や環境に対しても堅牢な性能を発揮すること。
• 自己教師付き損失とアテンション機構が、豊富なファインチューニングを要せず、1ショット模倣における一般化性能を向上させることを調査すること。

提案手法

• ロボットの現在の観測と教員エージェントの示範動画から得られる空間的特徴（ResNet特徴）を処理するために、トランスフォーマーのエンコーダーを用いる。
• マルチヘッド自己アテンションを適用し、タスクに適した関係的表現を学習することで、顕著な視覚的要素（例：物体の位置）に注目し、不要な干渉要因を無視する。
• 文脈に配慮した状態表現に基づいてエキスパートの行動を模倣するように、行動クラーニング損失を用いてポリシーを訓練する。
• 動的変化に関連する情報を捉えるために、表現学習を正則化する自己教師付き逆ダイナミクス損失を導入し、制御の堅牢性を向上させる。
• 一般化性能の向上と過学習の低減を目的に、トレーニング中にデータオーグメンテーション（例：ランダムクロッピング、カラーのジャマリング）を適用する。
• 1つのゴールフレームではなく、完全な示範動画を条件として用いることで、より良いタスク理解と文脈に配慮した行動予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 自己アテンションを備えたトランスフォーマー基盤アーキテクチャは、再帰的または順方向ベースのアーキテクチャと比較して、1ショット視覚的模倣性能を向上させることができるか？
• RQ2 1つの示範しか利用できない状況下で、自己教師付き逆ダイナミクス損失は一般化性能をどの程度向上させるか？
• RQ3 1つのフレームではなく、完全な示範動画を条件として用いることで、タスク理解と成功確率が向上するか？
• RQ4 アーキテクチャのバイアス（例：アテンション機構）と損失関数が、低データ環境下の模倣学習におけるテスト時性能をどの程度共同で向上させるか？
• RQ5 本手法は、物体の配置やロボットの形状が異なるドメインシフトに対しても、ファインチューニングなしで一般化可能か？

主な発見

• 提案手法のトランスフォーマー基盤ポリシーは、ピックアンドプレースタスクのスイートにおいて、先行する1ショット模倣学習ベースラインと比較して、成功率が約2倍向上した。
• 逆ダイナミクス損失を含まないモデルは、1600組のデータペアで学習した場合、他のモデルと比較して25%以上性能が劣り、この正則化の重要性を示している。
• 逆ダイナミクス損失は、行動クラーニング損失が捉えていない正の転送を可能にし、テスト時性能を向上させていることが示され、訓練目的に反映されていない利点を有している。
• 同じ訓練損失を使用しても、LSTM や ResNet を用いた他のアーキテクチャと比較して、トランスフォーマーのモデルは著しく優れた性能を示した。
• 逆損失を削除すると、すべてのデータレジーム、特に低データ環境下で顕著に性能が低下し、一般化の観点からその重要性が確認された。
• 1つのフレームではなく、完全な示範動画を条件として用いることで、性能が向上した。これは、文脈的情報がタスク理解に不可欠であることを示している。