[論文レビュー] Open-vocabulary Queryable Scene Representations for Real World Planning

Boyuan Chen, Fei Xia+6 more|ArXiv.org|Sep 20, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文では、CLIPおよびViLDの視覚言語モデルを用いて、大規模言語モデル（LLM）ベースのプランナを現実世界の環境に根拠づける、オープンボリュームでクエリ可能なシーン表現であるNLMapを提案する。自然言語によるオブジェクトの存在および位置のクエリを可能にすることで、長時間スパンのロボット計画を向上させ、55件の現実世界のタスクで61.8%の成功を達成した。そのうち35件は、従来の最先端のプランナがオープンボリュームのシーンへの根拠づけを欠いていたため、実行不可能であった。

ABSTRACT

Large language models (LLMs) have unlocked new capabilities of task planning from human instructions. However, prior attempts to apply LLMs to real-world robotic tasks are limited by the lack of grounding in the surrounding scene. In this paper, we develop NLMap, an open-vocabulary and queryable scene representation to address this problem. NLMap serves as a framework to gather and integrate contextual information into LLM planners, allowing them to see and query available objects in the scene before generating a context-conditioned plan. NLMap first establishes a natural language queryable scene representation with Visual Language models (VLMs). An LLM based object proposal module parses instructions and proposes involved objects to query the scene representation for object availability and location. An LLM planner then plans with such information about the scene. NLMap allows robots to operate without a fixed list of objects nor executable options, enabling real robot operation unachievable by previous methods. Project website: https://nlmap-saycan.github.io

研究の動機と目的

• 固定オブジェクトリストに依存せずに、動的でオープンボリュームの環境に根拠づいた現実世界のロボットタスク計画を可能にすること。
• 従来のLLMプランナが物理的シーンへの根拠づけを欠いており、新しいまたはオープンボリュームのオブジェクトクエリを処理できないという制限を克服すること。
• 自然言語によるオブジェクトの存在および位置のクエリをサポートする、柔軟で持続的なシーン表現を開発すること。
• この表現を計画フレームワーク（SayCan）と統合し、自然言語指示から文脈に配慮した実行可能な計画を生成すること。
• 未構造化環境における実ロボット上でシステムをベンチマーク化し、従来の最先端手法を超える能力を実証すること。

提案手法

• NLMapは、クラスに依存しないバウンディングボックスを用いてオブジェクト候補の特徴点群を構築し、それぞれに512次元のCLIPおよびViLD視覚埋め込みを関連付ける。
• クエリテキストとシーン埋め込み間のテキスト-視覚特徴の整合性スコアを計算することで、自然言語クエリを可能にし、ヒートマップとして可視化する。
• 複数のカメラビューからの検出を統合するマルチビュー統合戦略を採用し、ノイズを低減し検出の信頼性を向上させる。
• LLMベースのオブジェクト候補モジュールが指示を解析し、NLMap表現に対してクエリする関連オブジェクトを特定する。
• LLMプランナはクエリの結果（オブジェクトの存在および位置）を用いて、文脈に応じた実行可能な行動計画を生成する。
• 実ロボットに、認識、オブジェクト候補、計画の各分野でゼロショット事前学習モデルを用いてデプロイする。

実験結果

リサーチクエスチョン

• RQ1 現実世界の環境において、オブジェクトの存在および位置について、オープンボリュームで自然言語クエリを可能にするシーン表現を構築できるか？
• RQ2 事前に定義されたオブジェクトリストやハードコードされたオブジェクト位置に依存せずに、LLMベースのプランナを現実世界のシーンに効果的に根拠づける方法は何か？
• RQ3 CLIPおよびViLD埋め込みをマルチビュー統合と組み合わせることで、現実世界の設定におけるオープンボリュームオブジェクト検索の正確性にどのような影響を与えるか？
• RQ4 NLMapが、従来の最先端のプランナがシーンへの根拠づけを欠いていたために実行不可能であった新たなロボットタスクをどの程度可能にするか？
• RQ5 NLMapをSayCanと統合することで、長時間スパンの指示ベースのロボット計画における成功確率はどの程度向上するか？

主な発見

• NLMapは、シーン1で82%、シーン2で64%の認識成功を達成し、個々のCLIPまたはViLD埋め込みよりも顕著に優れた性能を示した。
• 最大アンサンブルとマルチビュー統合の組み合わせにより、シーン2でのクエリ成功確率が17%向上し、複数の視覚特徴およびビューの統合の有効性が裏付けられた。
• LLMプランナは、肯定的テストケースで85%、否定的ケースで60%の成功を達成し、正しいオブジェクトの根拠づけを伴う文脈に配慮した計画の強力な性能を示した。
• 55件の現実世界のタスクのうち35件は、従来の最先端のプランナでは実行不可能であったため、NLMapが新たなタスククラスを可能にする能力が浮き彫りになった。
• キッチン環境で55件の現実世界のタスクに対して61.8%の成功確率を達成し、実行軌道はCLIP特徴を用いた看板の正しく解釈されたオブジェクト認識を示した。