[论文解读] AtlasNet: A Papier-M\\^ach\\'e Approach to Learning 3D Surface Generation

Thibault Groueix, Matthew Fisher+3 more|arXiv (Cornell University)|Feb 14, 2018

3D Shape Modeling and Analysis参考文献 31被引用 177

一句话总结

AtlasNet 通过组合多个可学习的二维补丁来生成映射到三维表面的三维曲面，从而实现高分辨率网格并在点集基线之上获得更好的泛化。它在 ShapeNet 上展示了自编码和单视图重建，输出网格。

ABSTRACT

We introduce a method for learning to generate the surface of 3D shapes. Our approach represents a 3D shape as a collection of parametric surface elements and, in contrast to methods generating voxel grids or point clouds, naturally infers a surface representation of the shape. Beyond its novelty, our new shape generation framework, AtlasNet, comes with significant advantages, such as improved precision and generalization capabilities, and the possibility to generate a shape of arbitrary resolution without memory issues. We demonstrate these benefits and compare to strong baselines on the ShapeNet benchmark for two applications: (i) auto-encoding shapes, and (ii) single-view reconstruction from a still image. We also provide results showing its potential for other applications, such as morphing, parametrization, super-resolution, matching, and co-segmentation.

研究动机与目标

• 直接把表面生成作为一个参数化的二维到三维映射来促进学习，以产出连续的表面。
• 提出 AtlasNet：一个可学习的二维参数化的集合，映射到三维表面。
• 展示该方法在不占用大量内存的前提下，能生成高保真网格并实现可扩展分辨率。
• 在 ShapeNet 上演示自编码和单视图重建，并探索形变、参数化和对应等应用。

提出的方法

• 将三维形状表示为一组可学习的参数化曲面单元（补丁）。
• 通过将潜在形状特征与二维坐标拼接后输入带 ReLU 激活的多层感知机，映射单位正方形样本到三维点来解码形状。
• 使用生成点与目标表面样本之间的 Chamfer 距离进行训练，覆盖形状的 N 个补丁。
• 将规则网格从二维补丁转移到三维以获得网格，从而实现任意分辨率采样和纹理映射。
• 可选地通过密集采样再进行泊松表面重建（PSR）以提升网格质量。
• 使用编码器（点云的 PointNet；图像的 ResNet-18）生成潜在表示，该表示对基于补丁的解码器进行条件化。

实验结果

研究问题

• RQ1 是否可以将表面有效地学习为映射到三维形状的局部二维参数化的并集？
• RQ2 相较于 ShapeNet 上的基于点的生成基线，AtlasNet 是否在精度和泛化方面有所提升？
• RQ3 基于补丁的表面生成是否能产生适用于单视图重建和纹理映射的高分辨率网格？
• RQ4 补丁数量如何影响保真度、拓扑处理以及对未见类别的泛化能力？

主要发现

• AtlasNet 在 ShapeNet 的自编码任务中，在 Chamfer 距离和 METRO 网格距离上优于基于点的基线。
• 增加补丁数量可提高重建质量并提升对新类别的泛化。
• 该模型能直接生成高分辨率网格（如数万点），且内存开销并不过高。
• 从 RGB 图像的单视图重建得到的网格在保留细微表面细节方面优于一些基于体素/八叉树的基线。
• 该方法通过推断的 UV 映射支持形状插值、对应和纹理参数化等应用。