[论文解读] Improving Semantic Analysis on Point Clouds via Auxiliary Supervision of Local Geometric Priors

Lulu Tang, Ke Chen+4 more|arXiv (Cornell University)|Jan 14, 2020

3D Shape Modeling and Analysis参考文献 54被引用 11

一句话总结

本文提出一种自监督几何学习框架，通过利用局部几何特性（如法线和曲率）作为辅助监督信号，提升3D点云语义分析性能。通过联合训练深度网络以预测这些几何先验信息，同时进行语义分割或分类，该方法在ModelNet40上达到93.5%的平均准确率，且在噪声环境下更具鲁棒性，并优于基线模型的泛化能力。

ABSTRACT

Existing deep learning algorithms for point cloud analysis mainly concern discovering semantic patterns from global configuration of local geometries in a supervised learning manner. However, very few explore geometric properties revealing local surface manifolds embedded in 3D Euclidean space to discriminate semantic classes or object parts as additional supervision signals. This paper is the first attempt to propose a unique multi-task geometric learning network to improve semantic analysis by auxiliary geometric learning with local shape properties, which can be either generated via physical computation from point clouds themselves as self-supervision signals or provided as privileged information. Owing to explicitly encoding local shape manifolds in favor of semantic analysis, the proposed geometric self-supervised and privileged learning algorithms can achieve superior performance to their backbone baselines and other state-of-the-art methods, which are verified in the experiments on the popular benchmarks.

研究动机与目标

• 通过利用局部几何特性作为辅助监督信号，提升3D点云的语义分割与分类性能。
• 通过引入基于几何先验的自监督学习范式，解决3D视觉中标注数据有限的挑战。
• 证明将几何特性（法线、曲率）作为辅助任务进行学习，可提升深度神经网络的表征质量。
• 验证多任务学习中几何回归的引入，可有效提升下游语义分析性能。
• 探索在大规模形状数据集（如ShapeNetCore）上预训练几何先验对提升下游任务泛化能力与性能的影响。

提出的方法

• 该方法提出一种多任务学习框架，其中深度神经网络从原始点云中同时执行语义分割/分类任务，并回归局部几何属性（法线与曲率）。
• 通过可微分的几何计算模块估计几何先验，该模块从局部点云邻域中计算表面法线与曲率。
• 采用两种损失函数的加权组合：一种用于语义任务（分类或分割），另一种用于几何属性回归，其中超参数 λ 控制两者之间的权衡。
• 网络通过从输入点云中计算得出的几何属性自监督信号进行端到端训练，无需真实标签。
• 该框架应用于基于DGCNN的架构，并在ShapeNet Part与ModelNet40数据集上进行评估，同时开展关于损失权重与预训练的消融研究。
• 使用ShapeNetCore进行预训练，以几何先验初始化网络，从而提升在分类任务上的下游性能。

实验结果

研究问题

• RQ1 通过学习得到的几何特性作为辅助监督信号，能否提升3D点云语义分割与分类性能？
• RQ2 将几何先验作为监督信号与将其作为输入特征相比，在性能与鲁棒性方面有何差异？
• RQ3 在最大化分类与分割准确率的前提下，语义损失与几何损失之间的最优权衡（由 λ 控制）为何值？
• RQ4 在大规模形状数据集（如ShapeNetCore）上预训练几何先验，能在多大程度上提升下游任务性能？
• RQ5 在噪声条件下，基于学习的几何估计器是否能优于传统几何计算方法，尤其在精度方面？

主要发现

• 所提出的GeoSSL方法在ModelNet40上实现93.5%的平均分类准确率，优于基线DGCNN及其他多任务基线模型。
• 在多任务设置中同时结合分类与分割任务时，所提方法（GeoSSL cls+reg）在分类任务上达到99.4%准确率，在分割任务上达到85.7% IoU，优于DGCNN与MTNet cls+seg。
• 与传统计算方法相比，该方法显著降低了几何估计误差：在噪声点云上，学习得到的法线估计器的余弦距离误差为0.7332，而传统几何计算方法为1.0015。
• 最优的超参数 λ 落在 [10⁻³, 10⁻²] 范围内，其中 λ = 0.01 在ModelNet40上使GeoSSL_dgcnn的分类准确率达到最高（92.9%）。
• 在ShapeNetCore上进行预训练，可将分类准确率从随机初始化的92.5%提升至92.9%，证明了在几何先验上进行辅助预训练的有效性。
• 可视化结果表明，预测的法线与曲率与真实值高度对齐，证实了模型学习到准确几何表征的能力。