[论文解读] Learning 3D Dense Correspondence via Canonical Point Autoencoder

An-Chieh Cheng, Xueting Li+3 more|arXiv (Cornell University)|Jul 10, 2021

3D Shape Modeling and Analysis参考文献 29被引用 14

一句话总结

该论文提出了一种规范点自编码器（CPAE），通过将未对齐、无序的点云映射到瓶颈中的规范UV球面，学习密集的3D形状对应关系。利用自监督目标，CPAE实现在无标注情况下的点级对应预测，在未对齐形状上的3D关键点迁移和部件分割迁移任务中达到最先进性能。

ABSTRACT

We propose a canonical point autoencoder (CPAE) that predicts dense correspondences between 3D shapes of the same category. The autoencoder performs two key functions: (a) encoding an arbitrarily ordered point cloud to a canonical primitive, e.g., a sphere, and (b) decoding the primitive back to the original input instance shape. As being placed in the bottleneck, this primitive plays a key role to map all the unordered point clouds on the canonical surface and to be reconstructed in an ordered fashion. Once trained, points from different shape instances that are mapped to the same locations on the primitive surface are determined to be a pair of correspondence. Our method does not require any form of annotation or self-supervised part segmentation network and can handle unaligned input point clouds. Experimental results on 3D semantic keypoint transfer and part segmentation transfer show that our model performs favorably against state-of-the-art correspondence learning methods.

研究动机与目标

• 解决在缺乏真实标注或部件分割监督的情况下学习密集3D形状对应关系的挑战。
• 实现在同类别中未对齐、任意排序的3D点云之间的对应学习。
• 构建一个规范空间——具体为UV球面——以显式编码跨形状变化的点级对应关系。
• 在推理过程中无需显式旋转估计，实现旋转不变的对应预测。
• 利用学习到的对应关系支持下游任务，如3D语义关键点迁移和部件分割标签迁移。

提出的方法

• 采用点自编码器架构，以UV球面作为规范瓶颈空间，以确保跨形状的一致映射。
• 训练编码器将输入点云映射到球面表面，训练解码器从规范点重建原始形状。
• 在瓶颈处应用自监督自适应切比雪夫损失，以支持实例特定的原始形状调整并处理拓扑变化。
• 采用两阶段训练范式：首先使用重建损失和规范形变损失进行预训练，然后使用交叉重建损失和对应损失进行微调。
• 利用PointNet风格的全局特征编码和基于MLP的折叠操作，以保持点序并支持结构化解码。
• 为对应预测引入置信度分数，以突出显示不确定区域，如孔洞或形状变化区域。

实验结果

研究问题

• RQ1 规范球面瓶颈是否能有效在无监督情况下学习未对齐3D形状之间的密集点级对应关系？
• RQ2 所提出的CPAE在具有不同拓扑结构的形状（如带扶手或不带扶手的椅子）上泛化能力如何？
• RQ3 所学习的对应关系在支持下游任务（如3D关键点迁移和部件分割标签迁移）方面能达到何种程度？
• RQ4 模型在无需显式旋转预测的情况下，如何处理旋转不变性与形状变化？
• RQ5 自适应切比雪夫损失在建模不确定性和提升稀疏或不完整区域的对应精度方面有何影响？

主要发现

• CPAE在3D语义关键点迁移任务中达到最先进性能，在KeypointNet数据集上优于先前方法。
• 部件分割标签迁移结果表明，即使在类内形状差异较大时，也能准确将标签迁移到小而精细的部件（如水杯把手、飞机垂尾）上。
• 模型对未对齐输入具有良好的泛化能力，并保持旋转不变性，从而无需显式旋转估计。
• 推理速度极快，每对形状（2048个点）仅需0.03秒，且模型参数量仅为207万个。
• 对应置信度热图能成功识别出不确定区域（如不同水杯把手或电吉他琴体），表明模型的可靠性。
• 与先前自监督方法（如[12]）相比，本方法通过避免基于部件的分解，实现了直接的密集对应学习，性能更优。