[論文レビュー] Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following

Valts Blukis, Ross A. Knepper+1 more|arXiv (Cornell University)|Nov 14, 2020

Multimodal Machine Learning Applications参考文献 45被引用数 6

ひとこと要約

本論文では、ロボットにおける自然言語指示従いのための、少数の例示画像と説明を追加するだけで、以前に見たことのない物体についても推論できる、少サンプルの言語条件付きオブジェクトグラウンディングおよびマッピング手法を提案する。この手法は、先行する最先端手法と比較して、人間評価スコアで27%の絶対的向上を達成した。その際、先行手法はすべてのオブジェクトで訓練されていたにもかかわらずである。

ABSTRACT

We study the problem of learning a robot policy to follow natural language instructions that can be easily extended to reason about new objects. We introduce a few-shot language-conditioned object grounding method trained from augmented reality data that uses exemplars to identify objects and align them to their mentions in instructions. We present a learned map representation that encodes object locations and their instructed use, and construct it from our few-shot grounding output. We integrate this mapping approach into an instruction-following policy, thereby allowing it to reason about previously unseen objects at test-time by simply adding exemplars. We evaluate on the task of learning to map raw observations and instructions to continuous control of a physical quadcopter. Our approach significantly outperforms the prior state of the art in the presence of new objects, even when the prior approach observes all objects during training.

研究の動機と目的

• 再訓練やファインチューニングなしに、以前に見たことのないオブジェクトを含む自然言語指示に従うロボットを可能にすること。
• 学習可能なオブジェクト中心のマップを用いて、認識と推論を分離することで、モジュラーな指示従いシステムの工学的・統合的オーバーヘッドを低減すること。
• 例示データを活用して、さまざまなオブジェクトタイプに一般化できる少サンプルグラウンディング機構を設計すること。
• オブジェクトの位置とその指示された用途をエンコードする学習済みマップ表現を構築し、データベースの拡張により新しいオブジェクトについての推論を可能にすること。

提案手法

• 本手法は、合成された拡張現実（AR）データで訓練された少サンプルグラウンディング部を用い、例示データベースを用いて、指示文内の自然言語の記述を視覚的オブジェクトに一致させる。
• オブジェクトグラウンディングは、オブジェクトの外観と名前の保存済み例示データと照合する類似度ベースのモデルによって実行され、個々のオブジェクトの訓練を必要としない。
• グラウンディング出力から学習済みマップ表現が構築され、オブジェクトの位置とその指示での役割がエンコードされ、オブジェクト中心の推論を可能にする。
• 政策は、SuReALを用いてシミュレーション内でエンドツーエンドに訓練され、第一段階は教師あり学習、第二段階はPPOを用いた強化学習が組み合わされる。
• 教師あり学習と強化学習のプロセス間でデータを共有することで、政策の頑健性が向上し、劣化行動の発生が防止される。
• グラウンディング部は、シミュレータベースのARデータから実世界のARデータに交換可能であり、ドメイン適応なしに直接物理的クアッドコプターにデプロイ可能である。

実験結果

リサーチクエスチョン

• RQ1 再訓練やファインチューニングなしに、ロボット政策が自然言語指示に含まれる新しいオブジェクトタイプに一般化できるか？
• RQ2 例示データを用いた少サンプルグラウンディングは、実世界環境において未学習のオブジェクトについての推論をどの程度効果的に可能にするか？
• RQ3 オブジェクトの位置と指示された用途をエンコードする学習済みマップ表現は、指示従いタスクにおけるゼロショット一般化を向上させるか？
• RQ4 少サンプルグラウンディングを政策アーキテクチャに統合することは、全データカバレッジを必要とするエンドツーエンド学習手法を上回るか？
• RQ5 本手法は、完全に未学習のオブジェクトを含む環境でテストされた場合、先行する最先端手法をどの程度上回るか？

主な発見

• 本手法は、未学習のオブジェクトに一般化する際、先行する最先端手法と比較して人間評価スコアで27%の絶対的向上を達成した。
• 本モデルは、テスト環境の全63オブジェクトで訓練されたベースラインと比較して、人間評価で10%の向上を示し、優れたゼロショット一般化性能を示した。
• データベースにわずか数枚の例示画像と説明を追加するだけで、以前に見たことのないオブジェクトを含む指示を正確に従うことができ、追加の訓練は一切不要であった。
• グラウンディングモジュールのARデータソースをシミュレータから実世界のものに置き換えることで、シミュレーションから実世界への一般化が効果的に達成され、ドメイン適応や実世界でのファインチューニングなしに実現された。
• 教師あり学習と強化学習の段階間でデータを共有するメカニズムにより、劣化行動が防止され、政策の頑健性が向上した。
• 本手法は、物理的クアッドコプターでの実世界デプロイにおいても高いパフォーマンスを維持し、ARベースの訓練と転移戦略の有効性を確認した。