[論文レビュー] Chat-3D: Data-efficiently Tuning Large Language Model for Universal Dialogue of 3D Scenes

Zehan Wang, Haifeng Huang+3 more|arXiv (Cornell University)|Aug 17, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

Chat-3D は、大規模言語モデル（LLM）と事前学習済み3D表現をデータ効率的な3段階訓練戦略で統合することで、3Dシーンにおける最初のユニバーサル対話システムを提示した。新規に構築されたオブジェクト中心の3Dインstructデータセット上で、GPT-4と比較して75.6%の相対スコアを達成し、低リソース環境下でも正確な空間的推論、オブジェクトに依存した対話、外部知識統合を可能にした。

ABSTRACT

3D scene understanding has gained significant attention due to its wide range of applications. However, existing methods for 3D scene understanding are limited to specific downstream tasks, which hinders their practicality in real-world applications. This paper presents Chat-3D, which combines the 3D visual perceptual ability of pre-trained 3D representations and the impressive reasoning and conversation capabilities of advanced LLMs to achieve the first universal dialogue systems for 3D scenes. Specifically, we align 3D representations into the feature space of LLMs, thus enabling LLMs to perceive the 3D world. Given the scarcity of 3D scene-text data, we propose a three-stage training strategy to efficiently utilize the available data for better alignment. To enhance the reasoning ability and develop a user-friendly interaction scheme, we further construct a high-quality object-centric 3D instruction dataset and design an associated object-centric prompt. Our experiments show that Chat-3D achieves an impressive ability to comprehend diverse instructions for 3D scenes, engage in intricate spatial reasoning, and incorporate external knowledge into its responses. Chat-3D achieves a 75.6% relative score compared with GPT-4 on the constructed instruction dataset.

研究の動機と目的

• 現在、キャプションやQAなど限定的なタスクにしか対応していない3Dシーン向けのユニバーサル対話システムの欠如に取り組む。
• 3Dシーンとテキストのデータが限られている課題を克服するため、マルチモodal LLM のためのデータ効率的な訓練戦略を設計する。
• オブジェクト中心のプロンプトとインstructデータセットを導入することで、3D環境における豊富でユーザーフレンドリーな対話を実現する。
• 2D視覚モデルを凌駆える、3Dシーン理解における空間的推論と知識統合の向上を図る。

提案手法

• 3段階の訓練スキームを提案：(1) 3Dオブジェクト特徴量とクラス名埋め込みを統合、(2) シーン-テキストデータを用いた3Dオブジェクト関係モジュールの訓練、(3) 高品質なインstructデータセットを用いたファインチューニング。
• 属性、位置、関係性、機能、配置の提案をカバーする多様なオブジェクト中心の3Dインストラクションデータセットを構築。
• ユーザーがインタラクションによりターゲットオブジェクトを選択できるオブジェクト中心のプロンプトを設計し、3D対話における曖昧さを低減。
• 3D視覚表現をLLMの意味的特徴空間に統合することで、3D空間的および意味的コンテンツの認識を可能にする。
• 共同視覚言語学習の基盤として、事前学習済み3Dモデル（例：PointBERT、Point-MAE）とLLM（例：LLaMA）を活用。
• アライメント段階でコントラスト学習とクロスアテンション機構を用い、3D特徴量とLLMトークン埋め込みを統合。

Figure 1: The overall architecture of Chat-3D.

実験結果

リサーチクエスチョン

• RQ1 限られた3Dシーン-テキストデータのもとで、マルチモーダルLLMが3Dシーンにおけるユニバーサル対話に効果的にファインチューニング可能かどうか。
• RQ2 3段階訓練戦略が、標準的な2段階手法と比較して、低リソース環境下でのデータ効率性と性能向上を実現するか。
• RQ3 オブジェクト中心のインstructデータセットとプロンプト設計が、3Dシーンの対話におけるユーザーフレンドリーネス向上と曖昧さ低減に顕著な効果をもたらすか。
• RQ4 Chat-3Dが2DマルチモーダルLLM（例：LLaVA、MiniGPT-4）と比較して、3Dシーンにおける空間的認識と推論で優れているか。
• RQ5 モデルが外部知識を統合し、3D環境で複雑な空間的推論を実行できる範囲はどの程度か。

主な発見

• Chat-3D は、構築された3Dインストラクションデータセット上で、GPT-4と比較して75.6%の相対スコアを達成し、ユニバーサル対話と推論において優れた性能を示した。
• 3段階訓練スキームは、標準的な2段階手法と比較して8.6ポイントの性能向上を達成し、低リソース環境下でのデータ効率性を裏付けた。
• 会話データをインストラクションデータセットに組み込むことで、対話タスクでより高い向上効果が得られ、詳細なキャプションデータはキャプションベンチマークでの性能向上に寄与した。
• すべてのデータタイプを統合することで、最高の全体的性能が達成され、Chat-3D が対話タスクと詳細な記述タスクの両方で優れた実力を示した。
• Chat-3D は、2DマルチモーダルLLM（例：LLaVA、MiniGPT-4）を上回り、特に奥行きと視点理解の面で空間的認識と推論において優れた性能を示した。
• 可視化結果から、Chat-3D がオブジェクトの数を正確に数え、3D空間における位置を局所化し、オブジェクトの機能性と空間的関係性についての推論を的確に行えることが確認された。

Figure 2: Example 1 of Chat-3D conversation.