[論文レビュー] CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks

Oier Mees, Lukás Hermann+2 more|arXiv (Cornell University)|Dec 6, 2021

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

CALVINは、自然言語指示、マルチモーダルセンサ入力（RGB-D、プロ prioception、タクトイル）および7自由度連続制御を用いた、長時間スパンの操作タスクにおける言語条件付きロボット政策のトレーニングと評価のためのシミュレーテッドベンチマークである。マルチコンテキストのアシスト学習ベースラインは、5つの指示からなる長時間スパンのチェーンでわずか0.08％の成功率にとどまり、ゼロショット一般化および知覚的接地に関する顕著な課題を示しており、視覚・言語・ロボティクス統合分野における新規な手法の必要性を強調している。

ABSTRACT

General-purpose robots coexisting with humans in their environment must learn to relate human language to their perceptions and actions to be useful in a range of daily tasks. Moreover, they need to acquire a diverse repertoire of general-purpose skills that allow composing long-horizon tasks by following unconstrained language instructions. In this paper, we present CALVIN (Composing Actions from Language and Vision), an open-source simulated benchmark to learn long-horizon language-conditioned tasks. Our aim is to make it possible to develop agents that can solve many robotic manipulation tasks over a long horizon, from onboard sensors, and specified only via human language. CALVIN tasks are more complex in terms of sequence length, action space, and language than existing vision-and-language task datasets and supports flexible specification of sensor suites. We evaluate the agents in zero-shot to novel language instructions and to novel environments and objects. We show that a baseline model based on multi-context imitation learning performs poorly on CALVIN, suggesting that there is significant room for developing innovative agents that learn to relate human language to their world models with this benchmark.

研究の動機と目的

• 多様で現実的である環境における、長時間スパンの言語条件付きロボット操作のための標準化されたベンチマークの欠如に対処すること。
• 微調整なしに、新しい環境および新しい言語指示に一般化できるエージェントのトレーニングを可能にすること。
• 知覚と行動に言語を根拠づけるマルチモーダルで連続的な制御ポリシーの開発を支援すること。
• トレーニング、プロトタイピング、および言語条件付きポリシーの検証に適したモジュラーでオープンソースのシミュレーションフレームワークを提供すること。
• 環境および言語の両方でゼロショット一般化を含む、段階的に難易度が上がる評価プロトコルを確立すること。

提案手法

• ベンチマークは、4つの屋内操作設定を備えたシミュレーテッド環境に基づくもので、静的およびグリッパー搭載のRGB-Dカメラ、プロ prioception、およびビジョンベースのタクトイルセンシングを含む、柔軟なセンサ構成をサポートする。
• トレーニングには、約24時間の非構造的な遠隔操作プレイデータと、20,000件の多様で制約のない言語ディレクティブが使用される。
• フレームワークは、アシスト学習および強化学習の両方のアプローチを用いたポリシーのトレーニングと評価を可能にする。
• 評価は、同じ環境、複数環境、ゼロショット複数環境一般化の3つのモードで実施される。
• マルチコンテキストアシスト学習（MCIL）ベースラインが実装されており、再利用可能な行動をゴール指向ポリシーに抽出するために再ラベル化されたデモが使用される。
• ベンチマークは、3つの環境でトレーニングを行い、以前に見たことのない環境でテストすることで、ゼロショット評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 言語条件付きポリシーは、トレーニング中に見なかった新しい環境および新しい言語指示に一般化できるか？
• RQ2 マルチモーダル入力（視覚、プロ prioception、タクトイル）は、長時間スパンの操作タスクにおけるポリシー性能にどのように影響するか？
• RQ3 MCILのようなアシスト学習手法は、高次元の状態空間と行動空間を持つ複雑な長時間スパンタスクに、どの程度一般化できるか？
• RQ4 センサモダリティの選択（例：グリッパー内蔵カメラ、深度、タクトイル）は、知覚的接地とタスク成功にどのように寄与するか？
• RQ5 トレーニング環境とテスト環境との間の分布シフトは、言語条件付き制御におけるポリシー一般化にどのように影響するか？

主な発見

• MCILベースラインは、同じ環境設定の短時間スパンタスクで53.9％の成功率を達成しており、単純なサブタスクに対する能力を示している。
• 5つの連続した指示を含む長時間スパンタスクでは、MCILベースラインの成功率はわずか0.08％にとどまり、長時間スパン計画における深刻な失敗を示している。
• ポリシーは初期のサブタスクを正しく実行する傾向が強く（最初の指示で48.9％の成功率）、後続のタスクで失敗することが多く、誤差の蓄積が原因であると考えられる。
• ゼロショット複数環境評価では性能が著しく低下しており、トレーニング分布を超えた一般化が不十分であることが示された。
• 知覚的接地に問題があり、頻繁に色の参照（例：赤いブロックと青いブロック）を混同していたため、マルチモーダルな整合性に限界があることが示唆された。
• グリッパー内蔵カメラや深度チャネルなどのセンサの追加が、性能の向上に顕著な寄与を示さなかったため、より良いセンサ統合や表現学習の必要性が示された。