[论文解读] A Simple and Scalable Shape Representation for 3D Reconstruction

Mateusz Michalkiewicz, Eugene Belilovsky+2 more|arXiv (Cornell University)|May 10, 2020

3D Shape Modeling and Analysis参考文献 20被引用 5

一句话总结

本文提出 eigenSDF，一种基于符号距离函数（SDF）主成分分析（PCA）的简单且可扩展的3D形状表征方法，通过线性解码器实现高质量的3D重建。该方法在ShapeNet基准测试中达到最先进性能，优于复杂的卷积神经网络（CNN）解码器，并在保持局部一致性的同时实现更高分辨率的高效扩展。

ABSTRACT

Deep learning applied to the reconstruction of 3D shapes has seen growing interest. A popular approach to 3D reconstruction and generation in recent years has been the CNN encoder-decoder model usually applied in voxel space. However, this often scales very poorly with the resolution limiting the effectiveness of these models. Several sophisticated alternatives for decoding to 3D shapes have been proposed typically relying on complex deep learning architectures for the decoder model. In this work, we show that this additional complexity is not necessary, and that we can actually obtain high quality 3D reconstruction using a linear decoder, obtained from principal component analysis on the signed distance function (SDF) of the surface. This approach allows easily scaling to larger resolutions. We show in multiple experiments that our approach is competitive with state-of-the-art methods. It also allows the decoder to be fine-tuned on the target task using a loss designed specifically for SDF transforms, obtaining further gains.

研究动机与目标

• 解决3D卷积神经网络（CNN）自编码器在高分辨率3D重建中可扩展性差和计算效率低的问题。
• 探究当与有效的形状表征结合时，简单的线性解码器是否能实现具有竞争力的性能。
• 证明通过PCA学习的潜在SDF表征可有效支持下游任务，如单视角重建和形状补全。
• 为3D形状学习提供一个强大且简单的基线，避免使用复杂的深度学习架构。
• 指出需要更复杂的基准测试以进一步评估3D形状重建模型。

提出的方法

• 该方法以符号距离函数（SDF）作为核心形状表征，通过到表面的距离编码几何结构。
• 对SDF数据集应用主成分分析（PCA），以学习低维潜在形状表征。
• 通过使用PCA基向量将潜在码投影回SDF空间，实现线性解码器对3D形状的重建。
• 采用针对SDF变换定制的损失函数对模型进行微调，以提升重建质量。
• 在ShapeNet数据集上评估了单视角3D重建和形状补全任务。
• 训练和推理在高达256³的分辨率下进行，证明了其超越典型体素化方法的可扩展性。

实验结果

研究问题

• RQ1 当与基于SDF的潜在表征结合时，简单的线性解码器是否能实现具有竞争力的3D重建性能？
• RQ2 基于PCA的SDF降维是否能生成对下游任务具有鲁棒性和泛化能力的潜在形状码？
• RQ3 与基于CNN的解码器模型相比，该方法在分辨率扩展方面表现如何？
• RQ4 该方法是否能在重建质量和效率方面超越复杂的深度学习架构？
• RQ5 使用SDF专用损失进行微调对重建保真度有何影响？

主要发现

• 在ShapeNet汽车类别上，eigenSDF的IoU达到0.758，F-score达到0.529，优于包括Deep Level Sets和线性自编码器在内的最先进方法。
• 该方法可实现高达256³的训练分辨率，而基于CNN的解码器因计算成本过高已不可行。
• 通过SDF专用损失对解码器进行微调，使F-score从0.484提升至0.529，证明了任务特定适应的优势。
• 由于分辨率更高且解码更稳定，eigenSDF在复杂形状上的重建结果比Deep Level Sets更具局部一致性。
• 定性结果表明，从eigenSDF潜在空间无条件生成的3D形状在合理性上可与复杂GAN和VAE生成的结果相媲美。
• 与密集CNN解码器相比，该方法显著减少了训练时间，在128³分辨率下观察到10倍的速度提升。