[論文レビュー] Instruction-Following Agents with Multimodal Transformer

Hao Líu, Lisa Lee+2 more|arXiv (Cornell University)|Oct 24, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、指示に従うロボットエージェントのための言語指示と視覚的観測を統合的に符号化する統合的マルチモーダルトランスフォーマー・アーキテクチャであるInstruct RLを提案する。事前学習されたマルチモーダルトランスフォーマーを用いてクロスモーダル整合性を確保し、トランスフォーマーに基づく方策を用いて行動予測を行うことで、74のRLBenchタスクにおいて最先端の性能を達成し、優れた汎化性、スケーラビリティ、および長く詳細な指示に対するロバスト性を示した。

ABSTRACT

Humans are excellent at understanding language and vision to accomplish a wide range of tasks. In contrast, creating general instruction-following embodied agents remains a difficult challenge. Prior work that uses pure language-only models lack visual grounding, making it difficult to connect language instructions with visual observations. On the other hand, methods that use pre-trained multimodal models typically come with divided language and visual representations, requiring designing specialized network architecture to fuse them together. We propose a simple yet effective model for robots to solve instruction-following tasks in vision-based environments. Our \ours method consists of a multimodal transformer that encodes visual observations and language instructions, and a transformer-based policy that predicts actions based on encoded representations. The multimodal transformer is pre-trained on millions of image-text pairs and natural language text, thereby producing generic cross-modal representations of observations and instructions. The transformer-based policy keeps track of the full history of observations and actions, and predicts actions autoregressively. Despite its simplicity, we show that this unified transformer model outperforms all state-of-the-art pre-trained or trained-from-scratch methods in both single-task and multi-task settings. Our model also shows better model scalability and generalization ability than prior work.

研究の動機と目的

• 多様なタスクや環境にわたる汎用的でスケーラブルな指令に従うエージェントを構築する課題に対処すること。
• 視覚的根拠を欠く言語のみのモデルや、視覚的および言語的表現が分離されたマルチモーダルモデルの限界を克服すること。
• 複雑な統合モジュールを避けるが、言語指示と視覚的観測の間で強力なクロスモーダル整合性を実現できる単純な統合アーキテクチャを開発すること。
• 長く詳細な指令、マルチタスク学習、および未学習のタスク変種へのゼロショット一般化における性能を向上させること。
• モデルのスケーラビリティがアーキテクチャの複雑さを増すことなく性能を向上させられることを示すことにより、より優れた汎化性とロバスト性を実現できること。

提案手法

• モデルは、画像-テキストペアおよびテキストのみのデータ上で共同微調整された事前学習済みマルチモーダルトランスフォーマー（Geng et al., 2022）を用い、視覚的観測と言語指示の一般的なクロスモーダル表現を生成する。
• 複数のカメラからの視覚的観測、言語指示、プロ prioceptiveデータ、および行動履歴がトークン化され、マルチモーダルトランスフォーマーへの入力としてシーケンスに埋め込まれる。
• マルチモーダルトランスフォーマーは、言語と視覚の間のクロスモーダル依存関係を符号化し、指示と視覚的コンテンツの間で細粒度の整合性を実現する。
• 別個のトランスフォーマーに基づく方策は、符号化された観測および行動履歴の全履歴に基づき、7自由度（位置、回転、グリッパー状態）のロボット行動を自己回帰的に予測する。
• 特別な統合モジュールを避けるために、すべてのモダリティをエンドツーエンドで処理する統合トランスフォーマーを用いることで、トレーニングおよび推論の簡素化を実現する。
• モデルは、インスパイラションと密度報酬設計を用いた強化学習によりRLBenchベンチマークでトレーニングされ、方策最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 分離された視覚的および言語的エンコーダとカスタム統合モジュールを用いる従来の手法と比較して、統合的マルチモーダルトランスフォーマー・アーキテクチャは、指令に従うロボットタスクにおいて優れた性能を示せるか？
• RQ2 事前学習済みマルチモーダルモデルは、トレーニング中に見られなかった新しいタスク変種（例えば、異なるオブジェクトの色や順序）に対して、どの程度ゼロショット一般化を可能にできるか？
• RQ3 統合トランスフォーマー・アーキテクチャを用いる場合、モデルのスケーラビリティは指令に従うタスクにおける性能にどのように影響するか？
• RQ4 長く詳細な自然言語指令を、性能の低下を伴わず効果的に処理できるか？
• RQ5 単一のトランスフォーマー内で視覚と言語を統合的に符号化することで、分離されたパイプラインと比較してクロスモーダル整合性が向上するか？

主な発見

• Instruct RLは、RLBenchベンチマークの全74タスクにおいて最先端の性能を達成し、CLIPort、HiveFormer、SayCanなどの先行手法を上回った。
• 未学習のタスク変種、例えばブロックスターリングにおける異なるオブジェクトの色や順序に対しても、効果的に一般化でき、強力なゼロショット一般化を示した。
• Instruct RLは、長く詳細な指令において優れた性能を示し、視覚的文脈における言語理解と根拠の両方を示した。
• モデルサイズが大きくなるにつれて性能が向上し、強力なスケーラビリティと統合アーキテクチャの有効性を示した。
• マルチタスク学習の設定でも高い成功確率を達成し、多様な操作タスクにわたる強力な転移性を示した。
• 特別な統合モジュールを必要としない統合アーキテクチャが、複雑な統合部品を必要とする先行手法よりも優れた性能を達成した。