[論文レビュー] PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm

Haoyi Zhu, Honghui Yang+9 more|arXiv (Cornell University)|Oct 12, 2023

Tunneling and Rock Mechanics被引用数 6

ひとこと要約

PonderV2 は、3次元点群表現を学習するために、可微分なニューラルレンダリングを活用する普遍的な3次元事前学習フレームワークを提案する。3次元エンコーダーを実際のRGB-D画像を再構築するように訓練することで、強固な点群表現を学習する。このアプローチは、検出、セグメンテーション、再構築、画像合成を含む多様な3次元ビジョンタスクにおける11の屋内および屋外ベンチマークで最先端性能を達成し、強力な汎化性能と下流アプリケーションへのスムーズな統合を示している。

ABSTRACT

In contrast to numerous NLP and 2D vision foundational models, learning a 3D foundational model poses considerably greater challenges. This is primarily due to the inherent data variability and diversity of downstream tasks. In this paper, we introduce a novel universal 3D pre-training framework designed to facilitate the acquisition of efficient 3D representation, thereby establishing a pathway to 3D foundational models. Considering that informative 3D features should encode rich geometry and appearance cues that can be utilized to render realistic images, we propose to learn 3D representations by differentiable neural rendering. We train a 3D backbone with a devised volumetric neural renderer by comparing the rendered with the real images. Notably, our approach seamlessly integrates the learned 3D encoder into various downstream tasks. These tasks encompass not only high-level challenges such as 3D detection and segmentation but also low-level objectives like 3D reconstruction and image synthesis, spanning both indoor and outdoor scenarios. Besides, we also illustrate the capability of pre-training a 2D backbone using the proposed methodology, surpassing conventional pre-training methods by a large margin. For the first time, PonderV2 achieves state-of-the-art performance on 11 indoor and outdoor benchmarks, implying its effectiveness. Code and models are available at https://github.com/OpenGVLab/PonderV2.

研究の動機と目的

• 3次元ビジョンにおけるデータのばらつきとタスクの多様性のため、強固で汎化可能な3次元表現を学習する課題に対処すること。
• ニューラルレンダリングを3次元表現学習の事前タスクとして用いることで、3次元と2次元モダリティのギャップを埋めること。
• 3次元の高レベル認識タスクと低レベル再構築タスクの両方に普遍的に適用可能な事前学習パラダイムを構築すること。
• 3次元事前学習から多様な下流アプリケーション（3次元検出、セグメンテーション、画像合成など）への有効な転移学習を可能にすること。
• ニューラルレンダリングを用いて幾何と外観の手がかりを暗黙的に符号化することで、3次元特徴学習の向上を図ることの可能性を検討すること。

提案手法

• 3次元点群エンコーダーを、可微分なボリュメトリックニューラルレンダラーを介して、3次元点群から実際のRGBおよび深度画像を再構築するように訓練する。
• レンダリングされた画像と実際の観測画像とのピクセル単位の損失を最小化することで、3次元エンコーダーのエンドツーエンド最適化を可能にする。
• フレームワークは点群入力とマルチビュー画像入力を両方サポートしており、異なる3次元表現間での統合的事前学習を可能にする。
• 高いマスキング比 0.8 を用いたマスキングオートエンコーダー戦略を採用することで、全体的なシーン理解を促進する。
• レンダリングパイプラインは、レイトレーシングのためのレイトレーシングサンプリングと蓄積にNeuSを活用するなど、先進的な技術を採用し、再構築品質を向上させる。
• アーキテクチャは、デコーダーの深さと幅をカスタマイズ可能に設計されており、効率性とパフォーマンスに最適化されたデフォルト設定を採用している。

実験結果

リサーチクエスチョン

• RQ1 可微分なニューラルレンダリングは、点群から汎化可能な3次元表現を学習するための有効な事前タスクとして機能するか？
• RQ2 提案された事前学習パラダイムは、高レベル認識と低レベル再構築の両方を含む多様な3次元ビジョンタスクにどのように汎化するか？
• RQ3 ニューラルレンダリングベースの事前学習において、点群入力の最適なマスキング比は何か？
• RQ4 ニューラルレンダラーの設計（例：デコーダーの深さと幅）は、下流タスクのパフォーマンスにどのように影響するか？
• RQ5 学習された3次元表現は、画像分類や検出などの2次元ビジョンタスクに効果的に転送可能か？

主な発見

• PonderV2 は、3次元検出、セマンティックおよびインスタンスセグメンテーション、再構築タスクを含む11の屋内および屋外ベンチマークで最先端のパフォーマンスを達成した。
• 3次元検出において、UniSurf より 0.4 NDS、VolSDF より 0.1 NDS の向上を達成し、高度なレンダリング技術の利点を示した。
• カメラモダリティではマスキング比 0.3、点群モダリティではマスキング比 0.8 が最適なパフォーマンスをもたらし、タスク固有の設計が重要であることを示した。
• より深いSDFおよびRGBデコーダーは下流検出性能を顕著に向上させるが、より広いデコーダーはほとんど影響を及ぼさない。
• 遠く離れた物体や小さな物体に対しても深度を適切に再構築できており、優れた幾何的汎化性能を示している。
• 事前学習された3次元エンコーダーは、2次元ビジョンタスクへの強力な転移性能を実現し、従来の事前学習手法を上回った。