[論文レビュー] M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts

Mingsheng Li, Xin Chen+6 more|arXiv (Cornell University)|Dec 17, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

M3DBenchは、テキスト、画像、3Dオブジェクト、座標、視覚プロンプトを統合した大規模かつマルチモーダルな3Dインストラクションフォローワーのデータセットを提供し、320,000組以上のインストラクション・レスポンスペアを含む。このデータセットにより、3Dを核とするタスク向けにマルチモーダル言語モデル（MLM）のインストラクションチューニングが可能となる。ベンチマークの結果、M3DBenchで微調整されたモデルは、視覚的認識、推論、ナビゲーション、計画立案といった多様な3Dタスクで優れた性能を示しており、Vicuna-7B-v1.5ベースのモデルは詳細なシーン記述やマルチタスク評価において優れた結果を達成している。

ABSTRACT

Recently, 3D understanding has become popular to facilitate autonomous agents to perform further decisionmaking. However, existing 3D datasets and methods are often limited to specific tasks. On the other hand, recent progress in Large Language Models (LLMs) and Multimodal Language Models (MLMs) have demonstrated exceptional general language and imagery tasking performance. Therefore, it is interesting to unlock MLM's potential to be 3D generalist for wider tasks. However, current MLMs' research has been less focused on 3D tasks due to a lack of large-scale 3D instruction-following datasets. In this work, we introduce a comprehensive 3D instructionfollowing dataset called M3DBench, which possesses the following characteristics: 1) It supports general multimodal instructions interleaved with text, images, 3D objects, and other visual prompts. 2) It unifies diverse 3D tasks at both region and scene levels, covering a variety of fundamental abilities in real-world 3D environments. 3) It is a large-scale 3D instruction-following dataset with over 320k instruction-response pairs. Furthermore, we establish a new benchmark for assessing the performance of large models in understanding multi-modal 3D prompts. Extensive experiments demonstrate the effectiveness of our dataset and baseline, supporting general 3D-centric tasks, which can inspire future research.

研究の動機と目的

• 一般の3Dに配慮したマルチモーダル言語モデル（MLM）を訓練するための、大規模かつ多様な3Dインストラクションフォローワーのデータセットが不足している問題に対処すること。
• 1つのベンチマーク内で、認識、推論、ナビゲーション、計画立案を含む広範な3D中心タスクの評価を統一的かつ標準化すること。
• テキスト、3Dオブジェクト、画像、空間座標を統合した包括的で入れ違いのマルチモーダルプロンプティング方式を提供することで、3D理解のための大規模モデルのインストラクションチューニングを可能にすること。
• 複数のタスクにわたる3D MLM性能の公平かつ再現可能なベンチマーク評価を可能にする基準モデルと評価プロトコルを確立すること。

提案手法

• テキスト、2D画像、3Dポイントクラウド、ボクシングボックス、座標ベースのプロンプトを統合したマルチモーダルインストラクションフォローワーのデータセットを設計し、多様な3D視覚タスクを表現する。
• 10の多様な3Dタスク（密度付きキャプション、視覚的質問応答、エンジンバケーション質問応答、マルチリージョン推論、エンジンバケーション計画）において、320,000組を超えるインストラクション・レスポンスペアを収集・アノテートした。
• 言語インストラクションと複数の視覚モダリティ（テキスト、2D画像、3Dオブジェクト、空間座標）を組み合わせた、新規のプロンプティング方式を導入し、豊富で文脈に配慮したモデルの相互作用を可能にした。
• Adam最適化アルゴリズムとコサインスケジューリングを用いた統一されたトレーニングパイプラインを採用し、M3DBenchデータセット上で複数のベースラインモデルを微調整した。3Dエンコーダー（例：PointNet++、Transformer）を異なる設定で使用した。
• 標準的なNLP評価指標（BLEU、ROUGE、METEOR、CiDEr）とGPT-4ベースの比較的スコアリングを用いて、詳細なシーン記述の品質を評価した。
• 5つのコアタスク（密度付きキャプション、視覚的質問応答、エンジンバケーション質問応答、マルチリージョン推論、エンジンバケーション計画）を含む包括的な評価ベンチマークを確立した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつマルチモーダルな3Dインストラクションフォローワーのデータセットは、多様な3Dビジョンタスクにおけるマルチモーダル言語モデルの一般化性能を向上させ得るか？
• RQ2 提示された入れ違いのマルチモーダルプロンプティング方式（テキスト、画像、3Dオブジェクト、座標）は、3D環境における正確で文脈に配慮したインストラクションフォローアップを実現するのにどの程度有効か？
• RQ3 M3DBenchで微調整された最先端のLLMと、標準的な3Dベンチマークやゼロショット能力におけるその性能のギャップはどの程度か？
• RQ4 空間的推論やエンジンバケーション計画などの異なる3D中心タスクにおいて、どのモデルアーキテクチャのコンponents（例：3Dエンコーダ、言語デコーダ）が最も優れた性能を発揮するか？
• RQ5 GPT-4ベースの評価は、複雑な3Dシーンにおけるモデル生成記述の質を信頼性高くスコアリングできるか？

主な発見

• Vicuna-7B-v1.5ベースのモデルは、詳細な記述タスクでGPT-4スコア32.37を達成し、他のLLMを上回り、強力な3D理解能力を示した。
• 3DエンコーダとしてTransformerを採用したモデルは、PointNet++ベースのモデルよりも密度付きキャプションおよびエンジンバケーション計画タスクで優れた性能を示し、アーキテクチャの影響が顕著に現れた。
• M3DBenchでトレーニングされたベースラインモデルは、複数のタスクで最先端の性能を達成し、視覚的質問応答タスクでBLEU-4スコア27.89、マルチリージョン推論タスクでCiDErスコア29.08を記録した。
• すべてのOPT-6.7Bデコーダベースのモデルは、全タスクで相対的に低い性能を示し、モデルアーキテクチャと事前学習データが3Dインストラクションフォローアップ能力に顕著な影響を及ぼしていることが示された。
• M3DBenchベンチマークは、現在のモデルが詳細なシーン記述やマルチラウンド対話といった複雑な3Dタスクで困難を抱えていることを明らかにした。これは、3Dに配慮したインストラクションチューニングの分野におけるさらなる改善の余地があることを示している。
• 提示されたマルチモーダルプロンプティング方式は、空間座標、3Dオブジェクトインスタンス、画像リファレンスを含むインストラクションをモデルが的確に解釈・応答できることを実証した。