[论文解读] OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation

Tong Wu, Jiarui Zhang+10 more|arXiv (Cornell University)|Jan 18, 2023

Advanced Neural Network Applications被引用 5

一句话总结

OmniObject3D 引入了一个大规模、高保真度的真实扫描3D数据集，包含190种日常类别中的6,000个物体，具有丰富的标注信息，包括带纹理的网格、点云、多视角图像和视频。该数据集支持3D感知、新视角合成、神经表面重建和3D生成等前沿研究，由于其逼真的几何形状和外观，揭示了真实3D视觉领域的新挑战与新机遇。

ABSTRACT

Recent advances in modeling 3D objects mostly rely on synthetic datasets due to the lack of large-scale realscanned 3D databases. To facilitate the development of 3D perception, reconstruction, and generation in the real world, we propose OmniObject3D, a large vocabulary 3D object dataset with massive high-quality real-scanned 3D objects. OmniObject3D has several appealing properties: 1) Large Vocabulary: It comprises 6,000 scanned objects in 190 daily categories, sharing common classes with popular 2D datasets (e.g., ImageNet and LVIS), benefiting the pursuit of generalizable 3D representations. 2) Rich Annotations: Each 3D object is captured with both 2D and 3D sensors, providing textured meshes, point clouds, multiview rendered images, and multiple real-captured videos. 3) Realistic Scans: The professional scanners support highquality object scans with precise shapes and realistic appearances. With the vast exploration space offered by OmniObject3D, we carefully set up four evaluation tracks: a) robust 3D perception, b) novel-view synthesis, c) neural surface reconstruction, and d) 3D object generation. Extensive studies are performed on these four benchmarks, revealing new observations, challenges, and opportunities for future research in realistic 3D vision.

研究动机与目标

• 为解决当前缺乏大规模、高质量真实世界3D数据集以用于训练和评估3D视觉模型的问题。
• 通过提供逼真、多样化且高保真度的数据集，弥合合成数据与真实世界3D数据之间的领域差距。
• 通过与ImageNet和LVIS等常见2D数据集类别对齐，支持可泛化的3D表征学习。
• 为3D感知、新视角合成、神经表面重建和3D生成建立全面的基准。
• 通过在四个关键研究方向上的广泛评估，揭示真实3D视觉中的新挑战与新机遇。

提出的方法

• 使用专业3D和2D扫描仪捕获高保真度带纹理网格和精确点云，构建数据集。
• 每个物体均通过多视角RGB图像、带前景掩码的真实拍摄视频以及COLMAP相机位姿进行采集。
• 通过高精度扫描流程生成带纹理的网格和点云，确保几何精度和逼真的纹理细节。
• 多视角图像使用Blender以一致的相机参数渲染，确保评估的一致性。
• 设立四个评估任务：鲁棒3D感知、新视角合成、神经表面重建和3D物体生成。
• 采用NeuS、MonoSDF和GET3D等标准基线模型进行训练与评估，量化指标包括Chamfer Distance和FID。

实验结果

研究问题

• RQ1 真实扫描3D数据的逼真度与多样性在分布偏移和数据损坏条件下，对3D感知鲁棒性有何影响？
• RQ2 多视角图像与高质量网格在多大程度上能提升新视角合成与神经表面重建的性能？
• RQ3 当在真实世界扫描的稀疏视角上训练时，当前神经表面重建方法存在哪些局限性？
• RQ4 大规模词汇量数据集的语义与视觉多样性如何影响3D物体生成与特征解耦？
• RQ5 将3D生成模型泛化到具有复杂几何形状与纹理的真实世界3D物体时，面临哪些关键挑战？

主要发现

• 在8视角稀疏视图重建设置下，NeuS的Chamfer Distance达到7.96，显著劣于100视角基线（6.09），表明稀疏监督下的挑战依然存在。
• MonoSDF在视图数从5增加到8时性能提升趋于平缓，表明其深度引导质量存在局限。
• 在代价体初始化中，选择30个最近邻源视角的视图范围被确定为最优，兼顾了特征一致性与上下文丰富性。
• 分组聚类分析显示，高内部相似性组（如水果和蔬菜）主导了生成分布，而高差异性组（如花生、手提包、蘑菇）则阻碍了学习。
• 解耦插值结果表明，几何与纹理潜在变量并未完全解耦，几何变化会影响纹理，尤其在书封面等复杂纹理上表现明显。
• 如书封面等复杂纹理在生成中始终表现不佳，凸显了未来3D生成模型面临的关键挑战。