[論文レビュー] DiffPoint: Single and Multi-view Point Cloud Reconstruction with ViT Based Diffusion Model

Yu Feng, Xing Shi+2 more|arXiv (Cornell University)|Feb 17, 2024

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

DiffPoint は ViT バックボーンと拡散モデルを組み合わせ、単一または複数の画像から高忠実度の3D点群を再構成します。ShapeNet および OBJAVERSE-LVIS で最先端の結果を達成します。

ABSTRACT

As the task of 2D-to-3D reconstruction has gained significant attention in various real-world scenarios, it becomes crucial to be able to generate high-quality point clouds. Despite the recent success of deep learning models in generating point clouds, there are still challenges in producing high-fidelity results due to the disparities between images and point clouds. While vision transformers (ViT) and diffusion models have shown promise in various vision tasks, their benefits for reconstructing point clouds from images have not been demonstrated yet. In this paper, we first propose a neat and powerful architecture called DiffPoint that combines ViT and diffusion models for the task of point cloud reconstruction. At each diffusion step, we divide the noisy point clouds into irregular patches. Then, using a standard ViT backbone that treats all inputs as tokens (including time information, image embeddings, and noisy patches), we train our model to predict target points based on input images. We evaluate DiffPoint on both single-view and multi-view reconstruction tasks and achieve state-of-the-art results. Additionally, we introduce a unified and flexible feature fusion module for aggregating image features from single or multiple input images. Furthermore, our work demonstrates the feasibility of applying unified architectures across languages and images to improve 3D reconstruction tasks.

研究の動機と目的

• 画像と点群の間で特徴融合を改善し、2D-to-3D再構成を促進する。
• 不規則な3Dパッチをトークンとして扱うViTベースの拡散アーキテクチャを開発する。
• 統一されたフレームワークで単一視点および多視点の点群再構成を実現する。
• 複雑な実世界データ（OBJAVERSE-LVIS）への強い一般化を実証する。

提案手法

• 入力（時刻、画像埋め込み、ノイズのある点パッチ）をViTバックボーン内のトークンとして扱う。
• ノイズのある点群をFPSとKNNで不規則なパッチに分割し、PointNetでエンコードしてパッチトークンを作成する。
• 入力画像をCLIPでエンコードし、自己注意ベースのモジュールで多視点特徴を統合する。
• 降下過程を用いて牽引し、損失としてChamfer距離を用いて真の点群X0を予測する拡散モデルを訓練する。
• 単一視点および多視点再構成タスクの両方をサポートする統一された多機能集約モジュールを使用する。

実験結果

リサーチクエスチョン

• RQ1 ViTベースの拡散モデルは、画像特徴とノイズのある点パッチを効果的に融合して、2D画像から正確な3D点群を再構成できるだろうか。
• RQ2 統一された特徴集約は、単一視点および多視点の両方の再構成に競争力の性能を発揮するだろうか。
• RQ3 標準ベンチマーク（ShapeNet）および実世界データセット（OBJAVERSE-LVIS）でのDiffPointの性能はどうか。
• RQ4 位置埋め込みと多機能集約モジュールが再構成品質に与える影響は何か。

主な発見

• DiffPointはShapeNetにおいて単一視点および多視点の3D再構成の両方で最先端の性能を達成する。
• 統一された特徴融合モジュールは、単一視点と多視点の画像特徴を効果的に統合し、一貫した再構成を実現する。
• DiffPoint-Mは複雑なOBJAVERSE-LVISデータセットへの強い一般化を示す。
• DiffPoint-Sは単一視点設定で他の点ベース拡散モデルおよび単純な ViT ベースのベースラインを上回る。
• アブレーション研究は、多機能集約モジュールが性能を向上させ、位置埋め込みは限定的だが正の影響を持つことを示す。