[論文レビュー] Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality for 3D Understanding, Generation, and Instruction Following

Z. J. Guo, Renrui Zhang+9 more|arXiv (Cornell University)|Sep 1, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、ImageBindにガイドされた共同埋め込み空間を用いて、点群と画像、テキスト、音声、動画を統合する3次元マルチモーダルフレームワークであるPoint-Bindを紹介する。これに基づき、3次元指令データを一切必要とせず、パrameter-efficient fine-tuningにより、英語／中国語の二か国語指令に応答できる最初の3次元大規模言語モデル（Point-LLM）が提案され、3次元ゼロショット分類で最先端の性能を達成するとともに、3次元マルチモーダル質疑応答において優れた性能を発揮する。

ABSTRACT

We introduce Point-Bind, a 3D multi-modality model aligning point clouds with 2D image, language, audio, and video. Guided by ImageBind, we construct a joint embedding space between 3D and multi-modalities, enabling many promising applications, e.g., any-to-3D generation, 3D embedding arithmetic, and 3D open-world understanding. On top of this, we further present Point-LLM, the first 3D large language model (LLM) following 3D multi-modal instructions. By parameter-efficient fine-tuning techniques, Point-LLM injects the semantics of Point-Bind into pre-trained LLMs, e.g., LLaMA, which requires no 3D instruction data, but exhibits superior 3D and multi-modal question-answering capacity. We hope our work may cast a light on the community for extending 3D point clouds to multi-modality applications. Code is available at https://github.com/ZiyuGuo99/Point-Bind_Point-LLM.

研究の動機と目的

• 3次元点群と複数のモダリティ（画像、テキスト、音声、動画）を統合する統一されたフレームワークを開発し、3次元理解および生成を向上させること。
• 従来の3次元モデルが訓練時に単一または限定的なモダリティに制限されているという限界を解消すること。
• 任意のモダリティ入力（テキスト、画像、音声、または点群）から3次元形状を合成可能な「任意のモダリティから3次元への生成」を可能にすること。
• 3次元埋め込み空間における演算を可能にし、3次元と他のモダリティ間の意味的合成を実現すること。
• 3次元固有の指令データを一切使用せず、一般の視覚言語データのみを用いて、英語／中国語の両方に対応した指令に応答可能な最初の3次元大規模言語モデル（Point-LLM）を構築すること。

提案手法

• Point-Bindは、固定されたImageBindのエンコーダーにガイドされたコントラスト学習を用いて、3次元点群とマルチモーダルの間の共同埋め込み空間を構築する。
• 学習可能な3次元エンコーダー（例：I2P-MAE）が点群から特徴を抽出し、それらがImageBindの固定マルチモーダル特徴とコントラスト損失によりアライメントされる。
• 3次元埋め込みと事前学習済みテキストエンコーダーからのテキスト埋め込み間のコサイン類似度を計算することで、ゼロショット3次元オープンワールド理解が可能になる。
• 任意のモダリティから3次元への生成のため、事前学習済み生成デコーダーにCLIPのテキストエンコーダーの代わりにPoint-Bindのマルチモーダルエンコーダーを組み込む。これにより、任意のモダリティからの条件付き生成が可能になる。
• Point-LLMは、Bindネットワークと視覚キャッシュを用いてPoint-Bindと事前学習済みLLaMAモデルを統合し、パラメータ効率的な微調整のためのゼロ初期化ゲーティングを採用する。
• Point-LLMの学習には、3次元指令データを一切使用せず、公開済みの視覚言語データセットのみを用い、英語および中国語の両方でマルチモーダル推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3次元点群と画像、テキスト、音声、動画などの複数のモダリティとの間で、統一された共同埋め込み空間を構築できるか？
• RQ2 このアライメントにより、音声や点群といった多様なモダリティから3次元形状が合成可能な「任意のモダリティから3次元への生成」が可能になるか？
• RQ3 3次元特徴を他のモダリティの埋め込みと算術演算によって意味的に合成し、組み合わせたマルチモーダル検索を可能にできるか？
• RQ4 3次元指令データを一切使用せず、一般の視覚言語データのみを用いて、3次元大規模言語モデルを効果的に訓練できるか？
• RQ5 共同マルチモーダル表現が、3次元ゼロショット分類およびオープンワールド理解（音声参照認識を含む）において最先端の性能を達成できるか？

主な発見

• Point-Bindは、ModelNet40で78.00％という最先端の3次元ゼロショット分類精度を達成し、先行手法を上回る。
• アブレーションスタディの結果、射影に2つの線形層を用い、自己教師付き3次元エンコーダー（例：I2P-MAE）を組み合わせた場合が最良の性能を示した。
• 3次元埋め込みの算術演算により、効果的な組み合わせマルチモーダル検索が可能となり、たとえば3次元の「犬」と「海の波」の音声埋め込みを組み合わせることで、海にいる犬の画像を効果的に検索できる。
• 同じ生成デコーダーを用いて、テキスト、画像、音声、点群のプロンプトから高品質な3次元メッシュ合成が成功裏に実証された。
• Point-LLMは、3次元およびマルチモーダル質疑応答において、3次元指令データを一切使用していないにもかかわらず、英語および中国語の両方で優れた性能を発揮した。
• モデルは、3次元オープンワールド理解において強力なエメrgent能力を示し、特に先行研究では稀な「音声参照による3次元認識」も実現した。