[论文解读] DiffPoint: Single and Multi-view Point Cloud Reconstruction with ViT Based Diffusion Model

Yu Feng, Xing Shi+2 more|arXiv (Cornell University)|Feb 17, 2024

3D Shape Modeling and Analysis被引用 5

一句话总结

DiffPoint 将 ViT 主干网络与扩散模型结合，从单图或多图重建高保真度的 3D 点云，在 ShapeNet 和 OBJAVERSE-LVIS 上达到最先进的结果。

ABSTRACT

As the task of 2D-to-3D reconstruction has gained significant attention in various real-world scenarios, it becomes crucial to be able to generate high-quality point clouds. Despite the recent success of deep learning models in generating point clouds, there are still challenges in producing high-fidelity results due to the disparities between images and point clouds. While vision transformers (ViT) and diffusion models have shown promise in various vision tasks, their benefits for reconstructing point clouds from images have not been demonstrated yet. In this paper, we first propose a neat and powerful architecture called DiffPoint that combines ViT and diffusion models for the task of point cloud reconstruction. At each diffusion step, we divide the noisy point clouds into irregular patches. Then, using a standard ViT backbone that treats all inputs as tokens (including time information, image embeddings, and noisy patches), we train our model to predict target points based on input images. We evaluate DiffPoint on both single-view and multi-view reconstruction tasks and achieve state-of-the-art results. Additionally, we introduce a unified and flexible feature fusion module for aggregating image features from single or multiple input images. Furthermore, our work demonstrates the feasibility of applying unified architectures across languages and images to improve 3D reconstruction tasks.

研究动机与目标

• 通过改进图像与点云之间的特征融合，激励二维到三维的重建。
• 开发一个基于 ViT 的扩散架构，能够将不规则的 3D 补丁当作令牌处理。
• 以统一框架实现单视图和多视图的点云重建。
• 展示对复杂真实数据 (OBJAVERSE-LVIS) 的强泛化能力。

提出的方法

• 在 ViT 主干中将输入（时间、图像嵌入和带噪声的点云补丁）视为令牌。
• 通过 FPS 和 KNN 将带噪声的点云分割成不规则补丁，再用 PointNet 编码以创建补丁令牌。
• 用 CLIP 编码输入图像，并用基于自注意力的模块聚合多视图特征。
• 使用反向过程训练扩散模型，使用 Chamfer 距离作为损失，预测地真实点云 X0。
• 使用统一的多特征聚合模块来同时支持单视图和多视图重建任务。

实验结果

研究问题

• RQ1 基于 ViT 的扩散模型能否有效融合图像特征和带噪声的点补丁，以从 2D 图像重建出准确的 3D 点云？
• RQ2 统一特征聚合是否能够在单视图和多视图重建任务中实现有竞争力的性能？
• RQ3 DiffPoint 在标准基准（ShapeNet）和真实世界数据集（OBJAVERSE-LVIS）上的表现如何？
• RQ4 位置嵌入和多特征聚合模块对重建质量有何影响？

主要发现

• DiffPoint 在 ShapeNet 的单视图和多视图 3D 重建上实现了最先进的性能。
• 统一的特征融合模块能够有效聚合单视图和多视图的图像特征，实现一致的重建。
• DiffPoint-M 展现出对复杂的 OBJAVERSE-LVIS 数据集的强泛化能力。
• DiffPoint-S 在单视图设置中优于其他基于点的扩散模型和简单的基于 ViT 的基线。
• 消融研究表明，多特征聚合模块提高了性能，位置嵌入的影响有限但为正向影响。