[論文レビュー] Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers

Haifeng Huang, Chen, Yilun+9 more|arXiv (Cornell University)|Dec 13, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、オブジェクト識別子を用いて大規模言語モデル（LLMs）が3Dシーン内の複数のオブジェクトを正確に参照・推論できるようにする二段階のアライメント手法、Chat-3D v2を提案する。各オブジェクトに対して属性に敏感なトークンと関係に敏感なトークンを学習することで、モデルは強固な3D-LLMアライメントを確立し、参照精度の向上を伴って、アノテーションとキャプションタスクで最先端の性能を達成する。

ABSTRACT

Recent advancements in 3D Large Language Models (LLMs) have demonstrated promising capabilities for 3D scene understanding. However, previous methods exhibit deficiencies in general referencing and grounding capabilities for intricate scene comprehension. In this paper, we introduce the use of object identifiers and object-centric representations to interact with scenes at the object level. Specifically, we decompose the input 3D scene into a set of object proposals, each assigned a unique identifier token, which enables efficient object referencing and grounding during user-assistant interactions. Given the scarcity of scene-language data, we model the scene embeddings as a sequence of explicit object-level embeddings, derived from semantic-rich 2D or 3D representations. By employing object identifiers, we transform diverse 3D scene-language tasks into a unified question-answering format, facilitating joint training without the need for additional task-specific heads. With minimal fine-tuning on all downstream tasks, our model significantly outperforms existing methods on benchmarks including ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, and SQA3D.

研究の動機と目的

• 大規模言語モデル（LLMs）が3Dシーンにおける複数オブジェクトのクエリを処理できるように、明確な参照が可能なオブジェクト識別子を導入すること。
• 3Dオブジェクトとその識別子の間の信頼性のある1対1対応関係を、LLMの埋め込み空間内に確立する課題に対処すること。
• 数十個の3Dオブジェクト間の複雑な空間的関係を、学習された関係に敏感なトークンを通じてLLMの推論に組み込むこと。
• 識別子強化型のインstructチューニングを用いて、アノテーション、キャプション、視覚的質問応答などの下流タスクにおける3Dシーン理解の性能を向上させること。
• GPT-4を用いて豊富なオブジェクト識別子が付与された、新たな3Dシーンキャプションデータセットを構築し、評価を強化すること。

提案手法

• 二段階のアライメントフレームワークを提案：まずオブジェクトの視覚的・意味的特徴に対して属性に敏感なトークンを学習し、次に周囲のオブジェクトとの空間的関係を符号化する関係に敏感なトークンを学習する。
• 信頼性の高い3Dインスタンスセグメンテーションモデルを介して抽出された、各3Dインスタンスに固有のオブジェクト識別子（例：obj13, obj23）を導入し、正確な参照を可能にする。
• 関係モジュールを用いて周囲のオブジェクトからの空間的情報を集約し、関係に敏感なトークンに統合することで、LLM内の空間的推論を強化する。
• 二段階の訓練戦略を採用：まずオブジェクトレベルのアライメントで3D特徴をLLM埋め込み空間にマッピングし、次にシーンレベルのアライメントでトークン表現を最適化する。
• オブジェクト識別子を入力コンテキストとして用い、インstructチューニングされたデータセットでモデルを微調整することで、3D環境内での柔軟かつ正確な対話が可能になる。
• 予測された確率分布を用いて候補オブジェクトをフィルタリングする監視付きベースラインとモデルアンサンブルを可能にし、識別子に敏感なモデルに最終的な回答を選択させる。

Figure 1 : An example of using object identifiers in the conversation.

実験結果

リサーチクエスチョン

• RQ1 オブジェクト識別子は、LLMsとの3Dシーン会話におけるオブジェクト参照の正確性と明確さを顕著に向上させることができるか？
• RQ2 LLMの埋め込み空間内において、3Dオブジェクトとその識別子の信頼性のある1対1対応関係をどのように確立できるか？
• RQ3 学習された関係に敏感なトークンは、属性に敏感なトークンのみに依存する場合と比較して、空間的推論をどの程度向上させられるか？
• RQ4 提案されたアライメント手法は、複数オブジェクトのアノテーションとシーンキャプションタスクにおいて、既存の3D-LLMアプローチを上回る性能を示せるか？
• RQ5 識別子に敏感なLLMsを、高性能な監視付きベースラインと統合することで、アノテーション精度がどの程度向上するか？

主な発見

• 提案手法は、オブジェクト識別子をサポートしない従来の3D-LLMsに比べ、Nr3D/Sr3Dアノテーションベンチマークで最先端の性能を達成した。
• ScanReferおよびNr3D/Sr3Dの両タスクで、監視付きベースラインと同等の結果を達成し、シンプルな関係モジュールを用いながらも、強力なシーン理解と推論能力を示した。
• アブレーションスタディの結果、オブジェクト識別子そのものが性能向上に顕著な寄与を示し、属性に敏感なトークンと関係に敏感なトークンの組み合わせが最良の結果をもたらした。
• 学習された関係に敏感なトークンを平均プーリング表現に置き換えると、顕著な性能低下が生じ、関係モジュールが空間的構造を捉える重要性を裏付けた。
• ViL3DRelとのアンサンブルにより、アノテーション精度が約1.0%向上し、識別子に敏感なモデルが高信頼度の候補予測を効果的に精錬できることを示した。
• 3Dシーンキャプションタスクにおいて、Chat-3Dに比べてより包括的かつシーンに配慮した記述を生成した。Chat-3Dは孤立した視覚的要素に過剰に注目する傾向がある。

Figure 2 : Overall architecture of our model.