[论文解读] 3D-FUTURE: 3D Furniture shape with TextURE

Huan Fu, Rongfei Jia+5 more|arXiv (Cornell University)|Sep 21, 2020

3D Surveying and Cultural Heritage参考文献 65被引用 16

一句话总结

3D-FUTURE 引入了一个大规模、高质量的合成 3D 家具基准数据集，包含逼真的纹理和详细的几何结构，其数据源自工业 CAD 模型和专家设计的室内场景。该数据集通过提供 20,240 张照片级真实感图像、9,992 个独特的带纹理家具实例以及精确的 2D-3D 对齐信息，支持先进的 3D 视觉研究，涵盖 3D 重建、姿态估计和纹理合成等任务，并提供最先进基线模型与全面的评估指标。

ABSTRACT

The 3D CAD shapes in current 3D benchmarks are mostly collected from online model repositories. Thus, they typically have insufficient geometric details and less informative textures, making them less attractive for comprehensive and subtle research in areas such as high-quality 3D mesh and texture recovery. This paper presents 3D Furniture shape with TextURE (3D-FUTURE): a richly-annotated and large-scale repository of 3D furniture shapes in the household scenario. At the time of this technical report, 3D-FUTURE contains 20,240 clean and realistic synthetic images of 5,000 different rooms. There are 9,992 unique detailed 3D instances of furniture with high-resolution textures. Experienced designers developed the room scenes, and the 3D CAD shapes in the scene are used for industrial production. Given the well-organized 3D-FUTURE, we provide baseline experiments on several widely studied tasks, such as joint 2D instance segmentation and 3D object pose estimation, image-based 3D shape retrieval, 3D object reconstruction from a single image, and texture recovery for 3D shapes, to facilitate related future researches on our database.

研究动机与目标

• 解决在工业级应用中缺乏高质量、逼真、具有详细几何结构和信息性纹理的 3D 家具数据集的问题。
• 通过使用可投入生产的 CAD 模型，弥合学术 3D 视觉研究与现实世界工业设计之间的差距。
• 提供一个带有丰富标注的基准，包括 2D 实例分割、3D 物体姿态以及精确的 2D-3D 对齐信息。
• 支持高保真度的 3D 形状与纹理重建研究，尤其针对具有真实材料的复杂、详细家具。
• 促进最先进的单图 3D 重建与条件纹理合成方法的开发与评估。

提出的方法

• 从工业生产流程中整理出 9,992 个独特的 3D 家具 CAD 模型，确保高几何保真度与详细纹理。
• 由经验丰富的室内设计师设计 5,000 个逼真的室内房间场景，以确保照片级真实感渲染与空间一致性。
• 渲染 20,240 张高分辨率（256×256）的合成图像，附带精确的 2D-3D 实例级标注与视角信息。
• 实施多视角渲染流程，为单图 3D 重建与纹理合成生成多样化的训练视角。
• 提出一种新型的 BicycleGAN++ 框架用于条件纹理合成，引入纹理编码器与一致性损失，以提升多视角纹理的一致性。
• 应用可微分渲染与 UV 映射技术，实现纹理图集学习与纹理恢复的端到端优化。

实验结果

研究问题

• RQ1 一个大规模、高保真度的 3D 家具数据集，若具备逼真纹理与精确的 2D-3D 对齐，是否能提升从单张图像进行 3D 物体重建的性能？
• RQ2 现有最先进方法在具有工业级生产、高细节 3D 家具模型与丰富纹理的基准上表现如何？
• RQ3 条件纹理合成模型在多视角下生成的照片级真实感、一致纹理的能力达到何种程度？
• RQ4 当前 3D 重建与纹理合成方法在应用于具有信息性纹理的复杂、详细家具时存在哪些局限性？
• RQ5 与公共数据集中的模型相比，包含高质量、工业级 3D 模型是否能提升 3D 视觉模型的泛化能力与真实感？

主要发现

• Pixel2Mesh 在 3D-FUTURE 上的 3D 物体重建任务中优于其他 SOTA 方法，尤其在 IoU、Chamfer Distance 和 F-score 指标上表现更优，但在高度复杂的形状上性能有所下降。
• Texture Fields 在纹理合成任务中取得更优的 SSIM 与 L1 分数，表明其能更好地保留结构化纹理细节；而 BicycleGAN++ 在 FID 与 Feat1 指标上得分更高，表明其生成的全局纹理外观更逼真。
• BicycleGAN++ 学习到了主导性颜色模式，但未能保留语义纹理结构；而 Texture Fields 生成了更具结构化的纹理，但伴随梦境般、不那么真实的伪影。
• 3D-FUTURE 基准显著提升了 3D 形状与纹理理解能力，基线模型在 2D 实例分割与 3D 姿态估计等任务上均表现出可测量的性能提升。
• 该数据集的高分辨率纹理与精确的 2D-3D 对齐使得多视角纹理一致性的评估更加准确，揭示了当前生成模型的局限性。
• 该基准表明，具有详细纹理的工业级 3D 家具模型对推动高保真 3D 视觉研究至关重要，因为公共数据集通常缺乏此类质量和真实感。