[论文解读] LightSAL: Lightweight Sign Agnostic Learning for Implicit Surface Representation

Abol Basher, Muhammad Sarmad+1 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 55被引用 5

一句话总结

LightSAL 提出了一种轻量级、高效的编码器-解码器神经网络，用于从原始点云中进行无符号的隐式3D表面重建。其在参数量减少75%、训练周期减少75%的情况下，实现了与基线模型SAL相当的重建质量，同时避免了模式崩溃问题。

ABSTRACT

Recently, several works have addressed modeling of 3D shapes using deep neural networks to learn implicit surface representations. Up to now, the majority of works have concentrated on reconstruction quality, paying little or no attention to model size or training time. This work proposes LightSAL, a novel deep convolutional architecture for learning 3D shapes; the proposed work concentrates on efficiency both in network training time and resulting model size. We build on the recent concept of Sign Agnostic Learning for training the proposed network, relying on signed distance fields, with unsigned distance as ground truth. In the experimental section of the paper, we demonstrate that the proposed architecture outperforms previous work in model size and number of required training iterations, while achieving equivalent accuracy. Experiments are based on the D-Faust dataset that contains 41k 3D scans of human shapes. The proposed model has been implemented in PyTorch.

研究动机与目标

• 解决现有隐式3D形状学习方法在模型大小和训练时间方面的低效问题。
• 直接从原始点云或三角面片集合中实现无符号学习，无需预处理的有符号距离场。
• 设计一种紧凑的神经网络架构，在降低计算和内存成本的同时保持高重建质量。
• 在训练过程中展现对模式崩溃的鲁棒性，避免重建结果与真实形状偏离。

提出的方法

• 提出一种轻量级的编码器-解码器架构，编码器和解码器均使用1×1卷积核的1D卷积层，替代全连接层，以减少参数量。
• 通过在无符号距离场上进行训练，实现无符号学习，从而无需闭合曲面或预计算的有符号距离。
• 使用通过1D卷积层（1×1卷积核）实现的共享MLP处理无序点云输入，通过对称池化操作确保排列不变性。
• 在原始3D点云上使用重建损失进行网络训练，隐式表面定义为网络输出的零水平集。
• 在编码器中采用多尺度特征聚合策略，以从稀疏点云中捕捉局部和全局几何信息。
• 由于GPU显存限制，使用批量大小为16的Adam优化器进行模型优化，并将重建分辨率限制为100以提高训练效率。

实验结果

研究问题

• RQ1 在采用无符号学习进行训练时，显著更小的神经网络是否能实现与完整尺寸SAL模型相当的3D形状重建质量？
• RQ2 减少模型大小和训练周期是否能在不损失重建保真度或泛化能力的前提下提升训练效率？
• RQ3 基于1D卷积的共享MLP是否能替代编码器和解码器中的全连接层，同时保持性能并减少参数量？
• RQ4 所提出的架构是否能在训练过程中避免模式崩溃，即重建结果不偏离真实形状？
• RQ5 该模型是否能在未见的人体形状和姿态上实现良好泛化，而不会出现过拟合？

主要发现

• 与基线SAL模型相比，LightSAL将可训练参数数量减少了75%，模型参数量降至105万（1.05M），而基线模型为420万（4.2M）。
• 模型仅需500个训练周期即可达到与基线SAL模型2000个周期相当的重建质量。
• 由于参数量减少和高效的1D卷积层，LightSAL每周期训练速度提升了40%。
• 模型展现出优越的泛化能力，在训练过程中未观察到模式崩溃，而基线SAL模型偶尔会生成与输入数据不一致的形状。
• 在D-Faust数据集上，即使模型容量减小，LightSAL在未见人体形状和姿态上的重建质量仍优于基线模型。
• 实证结果证实，1×1卷积核的1D卷积在性能上与更大卷积核相当，但显著减少了参数量，验证了该架构设计的合理性。