[論文レビュー] Leveraging Large (Visual) Language Models for Robot 3D Scene Understanding

William Chen, Siyi Hu+2 more|arXiv (Cornell University)|Sep 12, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、ロボティクス分野における3次元シーン理解、特に部屋の分類を目的として、大規模事前学習済み視覚言語モデル（VLM）および言語モデル（LM）を活用する手法を提案している。オブジェクトラベル、空間的情報、言語の事前知識を組み合わせることで、ゼロショットプロンプティングまたはファインチューニングされた構造的プロンプトを用い、約70%の精度を達成。視覚のみの手法やグラフベースの手法を上回り、未学習のオブジェクトや新たなラベル空間に対しても優れた汎化能力と転移能力を示している。

ABSTRACT

Abstract semantic 3D scene understanding is a problem of critical importance in robotics. As robots still lack the common-sense knowledge about household objects and locations of an average human, we investigate the use of pre-trained language models to impart common sense for scene understanding. We introduce and compare a wide range of scene classification paradigms that leverage language only (zero-shot, embedding-based, and structured-language) or vision and language (zero-shot and fine-tuned). We find that the best approaches in both categories yield $\sim 70\%$ room classification accuracy, exceeding the performance of pure-vision and graph classifiers. We also find such methods demonstrate notable generalization and transfer capabilities stemming from their use of language.

研究の動機と目的

• ロボティクス分野における高レベルの空間的概念（例：部屋の種別）を扱う、意味的3次元シーン理解の課題に取り組むこと。
• 事前学習済み言語モデル（LM）および視覚言語モデル（VLM）が、ロボットのシーン理解にための常識的知識をどのように提供できるかを調査すること。
• 3次元シーングラフにおける部屋分類において、言語のみのアプローチと視覚と言語の両方を用いるアプローチを比較すること。
• トレーニング中に見られなかったオブジェクトおよび新しいラベル空間に対する汎化性能と転移性能を評価すること。
• こうしたモデルがリソース制約のあるロボットプラットフォームに実際に導入可能かどうかを検討すること。

提案手法

• 著者らは、含まれるオブジェクトのラベル、位置、部屋の寸法を含む、オブジェクトと空間的配置のテキスト記述に基づいて、事前学習済み言語モデル（例：GPT-J）を用いて部屋を分類している。
• 空間的情報と意味的情報を自然言語の文字列にエンコードする構造的言語プロンプティング手法を設計し、LMへの入力として用いている。
• 視覚と言語の両方を用いるアプローチでは、視覚特徴とテキスト記述を同時に処理するVLM（例：CLIP、LLaVA）を用いている。
• Matterport3Dデータセットを用いて、ゼロショットプロンプティングとファインチューニング済みLMおよびVLMバージョンを比較し、部屋分類を実施している。
• 標準的な正答率メトリクスを用いて性能を評価し、保留済みのオブジェクトや新しいラベル空間へのゼロショット汎化を分析している。
• 予測結果を可視化し、アブレーションスタディを実施して、異なる入力コンponents（例：オブジェクトラベル対空間的配置）の影響を評価している。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、特に部屋分類を目的としたロボティクス分野における3次元シーン理解に、効果的な常識的事前知識を提供できるか？
• RQ2 空間的および意味的情報を自然言語にエンコードする構造的言語プロンプティングは、単純なオブジェクトラベルのみのプロンプティングに比べ、精度および汎化性能で優れているか？
• RQ3 視覚と言語の両方を用いるモデル（VLM）は、視覚のみの手法を上回る性能を示すか？また、視覚的および言語的信号を統合することで、性能にどのような影響があるか？
• RQ4 これらの言語ベースのアプローチは、トレーニング時に見られなかったオブジェクトや、新しいラベル空間に対し、どの程度汎化可能か？
• RQ5 モデルのサイズや推論制約は性能にどのような影響を及ぼすか？また、より小さなモデルでも、ロボットプラットフォームで強力な結果を達成可能か？

主な発見

• 最も優れた性能を示したアプローチ（言語のみおよび視覚と言語の両方を用いるもの）は、約70%の部屋分類精度を達成し、純粋な視覚ベースおよびグラフベースの分類器を上回った。
• オブジェクトの位置や部屋の寸法を組み込んだ構造的言語アプローチは、空間的文脈が豊富であるため、単純なオブジェクトラベルのみのプロンプティングに比べ顕著に優れた性能を示した。
• 視覚と言語の両方を用いるモデル（VLM）は、視覚特徴とテキスト記述を組み合わせることで、最小限の手作業による特徴工学を経て、視覚のみの手法を上回る性能を達成した。
• すべての言語ベースのアプローチが、未学習のオブジェクトや新しいラベル空間へのゼロショット汎化を強く示し、言語の事前知識の強靭さを裏付けた。
• 単一のRTX 3080 GPUという限られた計算リソースでも、GPT-Jのような小さなモデルが強力な性能を示したため、モバイルロボットへの実装可能性が示された。
• トレーニングデータ（例：Matterport3Dの限定的な文化的・文化的背景）におけるバイアスが、多様な環境におけるモデルの公平性と汎化性能に影響を及える可能性があることが同定された。