[论文解读] Large-Scale 3D Shape Reconstruction and Segmentation from ShapeNet Core55

Li Yi, Lin Shao+48 more|arXiv (Cornell University)|Oct 17, 2017

3D Shape Modeling and Analysis参考文献 16被引用 53

一句话总结

介绍了一个基于 ShapeNet 的大规模基准测试，涵盖两项任务：从点云进行部件级别的三维形状分割，以及从单视图图像进行三维重建；有多支队伍和新颖架构展示出显著的性能提升。

ABSTRACT

We introduce a large-scale 3D shape understanding benchmark using data and annotation from ShapeNet 3D object database. The benchmark consists of two tasks: part-level segmentation of 3D shapes and 3D reconstruction from single view images. Ten teams have participated in the challenge and the best performing teams have outperformed state-of-the-art approaches on both tasks. A few novel deep learning architectures have been proposed on various 3D representations on both tasks. We report the techniques used by each team and the corresponding performances. In addition, we summarize the major discoveries from the reported results and possible trends for the future work in the field.

研究动机与目标

• 推动一个覆盖分割与重建的面向 3D 形状理解的大规模基准。
• 提供公开可用的训练数据和官方划分，以实现公平比较。
• 在两个核心任务上对多表示的 3D 方法（点云、体素）进行基准评估。
• 促进计算机图形学、计算机视觉与机器学习之间的跨学科进步。

提出的方法

• 利用 ShapeNetCore（55 类）开展两个分支：部件级分割和单图像三维重建。
• 评估多样化的三维表示（点云、体素）及架构，在 10 支参赛队伍中。
• 定义评估指标：分割使用 IoU；重建使用 IoU 和 Chamfer 距离。
• 提供来自参赛提交的任务特定方法描述（例如 Submanifold Sparse ConvNets、Pd-networks、PointCNN、HSP、DCAE、alpha-GAN）。
• 发布带有训练/验证/测试集的数据集划分，以及去重的测试集，以评估泛化能力。

实验结果

研究问题

• RQ1 在 ShapeNetCore 数据上，哪些深度学习架构和表示对 3D 部件分割最有效？
• RQ2 单视图图像在跨越多样对象类别时，转化为准确的 3D 体素重建的效果如何？
• RQ3 使用合成 ShapeNet 数据进行大规模 3D 形状理解的趋势和最佳实践是什么？

主要发现

• 所有参与方法在两个任务中均为基于深度学习。
• 探索了多种 3D 表示（体素/体元和点云），其中点云方法尤为受欢迎。
• 两种标准评估指标（Chamfer 距离和 IoU）在重建任务上产生了不同的赢家，凸显了指标的敏感性。
• 最佳分割方法在基础线之上实现了提升，采用了 Sparse ConvNets 和密集点云网络等架构。
• 重建方法显示，可以通过分层或密集连接的架构实现高分辨率体素输出，尽管评估仍受指标选择的影响而变得复杂。