[論文レビュー] VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation

Kaizhi Zheng, Xiaotong Chen+2 more|arXiv (Cornell University)|Jun 17, 2022

Multimodal Machine Learning Applications被引用数 15

ひとこと要約

本稿では、ビジョンと言語の操作を対象としたスケーラブルで構成的（compositional）なベンチマーク、VLMbench を紹介する。このベンチマークは、AMSolver と呼ばれる自動デモ生成ツールを用いて、多様でバイアスの少ない言語指示と 6DoF ロボットの軌道を生成する。また、6D-CLIPort と呼ばれるキーポoinに基づくモデルを提案し、言語を 3D 動作にマッピングするためのものである。このモデルは、優れたグリップ成功率を示すが、ロバストな言語誘導型操作の分野には依然として大きな改善余地があることが示された。

ABSTRACT

Benefiting from language flexibility and compositionality, humans naturally intend to use language to command an embodied agent for complex tasks such as navigation and object manipulation. In this work, we aim to fill the blank of the last mile of embodied agents -- object manipulation by following human guidance, e.g., "move the red mug next to the box while keeping it upright." To this end, we introduce an Automatic Manipulation Solver (AMSolver) system and build a Vision-and-Language Manipulation benchmark (VLMbench) based on it, containing various language instructions on categorized robotic manipulation tasks. Specifically, modular rule-based task templates are created to automatically generate robot demonstrations with language instructions, consisting of diverse object shapes and appearances, action types, and motion constraints. We also develop a keypoint-based model 6D-CLIPort to deal with multi-view observations and language input and output a sequence of 6 degrees of freedom (DoF) actions. We hope the new simulator and benchmark will facilitate future research on language-guided robotic manipulation.

研究の動機と目的

• ロボット工学におけるビジョンと言語の操作の分野で、スケーラブルでモジュラーかつバイアスの少ないベンチマークが不足しているという問題に対処すること。
• 構成的言語とタスクテンプレートを用いることで、新しい物体や複雑で多段階のタスクに対するゼロショット一般化を可能にすること。
• 運動制約に基づいてタスクを分類し、言語指示に従った多様な視覚的推論を支援するベンチマークを構築すること。
• 現実的な 3D 環境におけるビジョンと言語モデルの、6DoF ロボット動作への言語のマッピングのロバスト性を評価すること。

提案手法

• AMSolver：オブジェクトの形状、外観、動作、運動制約のモジュラーなルールベースのテンプレートを用いて、ユニットタスクを合成する自動デモ生成ツール。
• VLMbench：100 以上のタスクを含む 3D シミュレーションベースのベンチマーク。運動制約（例：回転、並進）に基づいて分類され、構成的言語指示をサポートする。
• 6D-CLIPort：マルチビュー観測と言語を処理し、6DoF 動作シーケンスを予測するキーポイントベースのビジョンと言語モデル。
• グリップと移動ステップにタスクを分解し、ゴール条件付きグリップ（G-G）とゴール条件付き移動（G-M）成功率といった評価指標を用いる。
• 真値のウェイポイントを用いて失敗モードを分析し、運動計画における位置・姿勢の不一致が及ぼす影響を評価する。
• 見たことのないオブジェクトのカテゴリを用いた評価により、グリップおよび操作におけるゼロショット一般化をテストする。

実験結果

リサーチクエスチョン

• RQ1 構成的言語とモジュラーなタスクテンプレートを備えたベンチマークは、ビジョンと言語の操作において、新しい物体へのスケーラブルなゼロショット一般化を可能にするか？
• RQ2 6D-CLIPort のようなビジョンと言語モデルは、複雑で制約の多い言語指示に従いながら、未確認の物体形状や外観に対してもどの程度一般化できるか？
• RQ3 位置および姿勢の推定値が真値と一致しない場合に、言語誘導型 6DoF ロボット操作における主な失敗モードは何か？
• RQ4 真値の位置または姿勢が与えられた部分的に教師ありエージェントであっても、6DoF 姿勢推定の不一致により、どの程度失敗を繰り返すか？
• RQ5 運動制約に基づくタスク分類とオブジェクト中心の表現は、視覚的推論をどのように向上させ、言語誘導型操作におけるバイアスをどのように低減するか？

主な発見

• 6D-CLIPort は、ピック、スタック、ドロップ、倒し、ワイパー操作などのタスクにおいて、見たことのある設定および見知らぬ設定の両方で高いゴール条件付きグリップ（G-G）成功率を達成しており、物体の位置特定における優れた一般化能力を示している。
• 高いグリップ成功率にもかかわらず、ゴール条件付き移動（G-M）成功率は顕著に低く、失敗の主な原因は軌道実行および運動計画にあり、その点が改善の余地があることを示している。
• ビジョンオンリーエージェントは、見たことのあるドアヤーバックのタスクに過学習しており、見たことのある設定では高いグリップ成功率を示すが、見知らぬ設定では性能が著しく低下しており、分布シフトの問題が顕著に現れている。
• 開閉タスクにおいては、見たことのある設定と見知らぬ設定の両方で G-M 成功率が類似しており、正しいグリップが得られれば、移動ポリシーは良好に一般化していることが示唆されている。
• 失敗の主な原因は、誤ったポーズ推定に起因する：誤ったグリップポーズ、誤ったオブジェクトのグリップ、誤った到着位置ポーズ、または誤った到着オブジェクト。
• 真値の位置または姿勢が与えられても、推定値と真値のポーズが一致しない場合には 6D-CLIPort は失敗を繰り返すため、ポーズの整合性が運動計画の成功にとって極めて重要であることが証明された。