[论文解读] Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve

Weicheng Kuo, Anelia Angelova+2 more|arXiv (Cornell University)|Jul 26, 2020

3D Shape Modeling and Analysis参考文献 41被引用 6

一句话总结

Mask2CAD 提出了一种基于检索的方法，通过在共享嵌入空间中联合检测物体并检索其最相似的CAD模型，实现从单张RGB图像进行3D形状预测。该方法在Pix3D数据集上达到最先进性能（IoU为0.613，Chamfer距离为0.086），并在无需微调的情况下泛化到未见过的形状，提供了一种轻量化、有效的3D表示，适用于内容创作和域迁移任务。

ABSTRACT

Object recognition has seen significant progress in the image domain, with focus primarily on 2D perception. We propose to leverage existing large-scale datasets of 3D models to understand the underlying 3D structure of objects seen in an image by constructing a CAD-based representation of the objects and their poses. We present Mask2CAD, which jointly detects objects in real-world images and for each detected object, optimizes for the most similar CAD model and its pose. We construct a joint embedding space between the detected regions of an image corresponding to an object and 3D CAD models, enabling retrieval of CAD models for an input RGB image. This produces a clean, lightweight representation of the objects in an image; this CAD-based representation ensures a valid, efficient shape representation for applications such as content creation or interactive scenarios, and makes a step towards understanding the transformation of real-world imagery to a synthetic domain. Experiments on real-world images from Pix3D demonstrate the advantage of our approach in comparison to state of the art. To facilitate future research, we additionally propose a new image-to-3D baseline on ScanNet which features larger shape diversity, real-world occlusions, and challenging image views.

研究动机与目标

• 通过利用现有的CAD模型数据库而非从零生成几何结构，实现从单张RGB图像进行准确的3D形状预测。
• 通过将真实图像转换为基于合成的、紧凑且有效的CAD表示，弥合真实世界与合成世界之间的域差距。
• 开发一种方法，在测试时无需微调即可泛化到未见过的3D形状，仅通过扩展CAD模型库即可实现。
• 通过生成干净、轻量的3D物体表示，支持内容创作、机器人技术和混合现实等实际应用。
• 在包含多样化真实世界挑战的ScanNet数据集上，建立单图像3D重建的新基准。

提出的方法

• 使用三元组损失构建图像-CAD联合嵌入空间，使对应图像区域与CAD模型更接近，同时使非对应对彼此远离。
• 采用可微分的端到端框架，联合执行2D物体检测（边界框、分割掩码）和3D形状检索，并进行姿态优化。
• 采用姿态预测分支回归物体旋转和中心位置，实现检索到的CAD模型与图像区域的精确对齐。
• 利用大规模数据集（如ShapeNet）中预先存在的CAD模型作为形状先验，避免生成式3D重建中常见的噪声和伪影。
• 在训练过程中应用数据增强技术，如HSV颜色抖动、ROI抖动和图像缩放抖动，以提升模型鲁棒性。
• 在推理阶段，通过共享嵌入空间中的余弦相似度，为每个检测到的物体区域检索最相似的CAD模型。

实验结果

研究问题

• RQ1 基于检索的方法是否能利用预存在的CAD模型，在形状准确性和有效性方面超越生成式3D重建方法？
• RQ2 在不进行微调或再训练的情况下，基于CAD的方法在多大程度上能泛化到未见过的3D物体形状？
• RQ3 在真实世界条件下，联合嵌入空间在对齐图像区域与语义和几何上相似的CAD模型方面有多高效？
• RQ4 该方法是否能扩展到大规模、多样化数据集（如ScanNet），应对复杂遮挡和具有挑战性的视角？
• RQ5 使用轻量级CAD表示是否能提升推理效率，并增强其在实时或交互式应用中的适用性？

主要发现

• 在Pix3D $σ_1$ 测试集上，Mask2CAD的平均IoU为0.613，Chamfer距离为0.086，显著优于最先进方法（如FroDO的IoU为0.325，MarrNet的IoU为0.231）。
• 该方法在测试时无需微调即可泛化到未见过的3D形状，仅通过扩展CAD模型数据库即展现出强大的零样本泛化能力。
• 在ScanNet数据集上，Mask2CAD的平均Mesh AP为8.4%，沙发类高达23.1%，表现出对遮挡、多样视角和光照变化等真实世界挑战的鲁棒性。
• 每次640×640图像的推理时间约为60ms，适用于实时应用。
• 即使测试图像中包含训练阶段未见过的物体，该方法仍保持高性能，证实了基于检索策略的有效性。
• 该方法能够实现具有有效、清晰几何结构的准确3D重建，避免了生成式方法中常见的噪声和过度平滑问题。