[論文レビュー] Bridging the Domain Gap: Self-Supervised 3D Scene Understanding with Foundation Models

Zhimin Chen, Bing Li+2 more|arXiv (Cornell University)|May 15, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

Bridge3D は、3D ポイントクラウドとテキスト/画像モダリティの間のドメインギャップを埋めるために基礎モデルを活用する自己教師付き 3D パーミッション理解フレームワークを提案する。基礎モデルが生成するセマンティックマスクとキャプションを用いることで、シーンレベルおよびオブジェクトレベルの知識蒸留が可能となり、3D オブジェクト検出およびセマンティックセグメンテーションが顕著に向上し、ScanNet においてベースライン比で 6.3% の絶対的向上を達成した。

ABSTRACT

Foundation models have achieved remarkable results in 2D and language tasks like image segmentation, object detection, and visual-language understanding. However, their potential to enrich 3D scene representation learning is largely untapped due to the existence of the domain gap. In this work, we propose an innovative methodology called Bridge3D to address this gap by pre-training 3D models using features, semantic masks, and captions sourced from foundation models. Specifically, our method employs semantic masks from foundation models to guide the masking and reconstruction process for the masked autoencoder, enabling more focused attention on foreground representations. Moreover, we bridge the 3D-text gap at the scene level using image captioning foundation models, thereby facilitating scene-level knowledge distillation. We further extend this bridging effort by introducing an innovative object-level knowledge distillation method that harnesses highly accurate object-level masks and semantic text data from foundation models. Our methodology significantly surpasses the performance of existing state-of-the-art methods in 3D object detection and semantic segmentation tasks. For instance, on the ScanNet dataset, Bridge3D improves the baseline by a notable margin of 6.3%. Code will be available at: https://github.com/Zhimin-C/Bridge3D

研究の動機と目的

• 自己教師付き 3D リプレゼンテーション学習における 3D ポイントクラウドとテキスト/画像基礎モデルの間のドメインギャップを解消すること。
• 大規模な 3D-テキストペアデータセットの不足を補うために、画像キャプション基礎モデルを用いて合成された 3D シーンプロンプトを生成すること。
• 基礎モデルから得られる高精度なオブジェクトレベルのマスクとセマンティックテキストデータを活用して、3D リプレゼンテーション学習を向上させること。
• 基礎モデルガイドドのマスキングとパッチドロップを用いて、マスクドオートエンコーダの訓練をフォアグラウンドオブジェクト特徴に焦点を合わせることで改善すること。
• 3D、2D、およびテキスト特徴を基礎モデルから統合することで、シーンレベルおよびオブジェクトレベルの統合的知識蒸留を実現すること。

提案手法

• 画像キャプション基礎モデル（例：BLIP）を用いて 3D シーンの自然言語記述を生成し、シーンレベルの知識蒸留用に 3D-テキストプロンプトを構築する。
• インスタンスセグメンテーションモデル（Grounding DINO および SAM）を活用して、基礎モデル出力から正確なオブジェクトレベルマスクを生成し、オブジェクトレベルの知識蒸留を可能にする。
• 基礎モデルのセマンティックマスクをガイドとして用いる新しいマスキングおよびパッチドロップ戦略を設計し、マスクドオートエンコーダがフォアグラウンドオブジェクトに注目し、バックグラウンドの干渉を低減できるようにする。
• 基礎モデルから 3D トランスフォーマーバックボーンに特徴、セマンティックマスク、キャプションを自己教師的に転送することで、マルチモダリティ知識蒸留を実行する。
• シーンレベルおよびオブジェクトレベルの蒸留を統合的に 3D プレトレーニングパイプラインに統合し、特徴品質と下流タスクのパフォーマンスを向上させる。
• 標準的および最先端の 3D 検出ネットワーク（例：CAGroup3D）にこのフレームワークを適用し、汎用性とパフォーマンス向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 基礎モデルを用いて、自己教師付き 3D パーミッションリプレゼンテーション学習のための高品質な 3D-テキストおよび 3D-2D アライメントを効果的に生成できるか？
• RQ2 基礎モデルガイドドのマスキングは、ランダムマスキングと比較して、3D マスクドオートエンコーダにおけるフォアグラウンド表現学習をどの程度向上させるか？
• RQ3 基礎モデルからのシーンレベルおよびオブジェクトレベルの知識蒸留は、3D オブジェクト検出およびセマンティックセグメンテーションをどの程度向上させるか？
• RQ4 CLIP、SAM、BLIP などの複数の基礎モデルを統合的に使用することは、個別に使用する場合と比較して、3D 自己教師付き学習においてどのような差異を生じるか？
• RQ5 提案されたフレームワークは、アーキテクチャの変更なしに、既存の最先端 3D 検出アーキテクチャに効果的に適応可能か？

主な発見

• Bridge3D は、ベースラインの Point-MAE に対して ScanNetV2 データセットで mAP に 6.3% の絶対的向上を達成し、AP@25 は 65.3%、AP@50 は 44.2% を記録した。
• S3DIS データセットでは、mIoU が 70.2%、mAcc が 76.1% に向上し、先行する自己教師付き手法および Point-MAE ベースラインを上回った。
• アブレーションスタディの結果、特徴、セマンティックマスク、キャプションの3つのモダリティすべてがパフォーマンス向上に顕著な寄与を示し、全モダリティ統合が最良の結果をもたらした。
• 基礎モデルが生成するマスクは、マスクCLIP + スーパーピクセル法などの従来手法を上回り、オブジェクトレベルの蒸留において優れた正確性と意味的豊かさを示した。
• SOTA メソッド CAGroup3D に適用した結果、ScanNet では AP@25 が 75.1% から 76.3% に、SUN RGB-D では 66.8% から 68.7% に向上し、汎用性および転送可能性を確認した。
• 本手法はモダリティの変動に対しても強く、一部のモダリティが欠落しても高いパフォーマンスを維持しており、堅牢で柔軟な設計であることが示された。