[论文解读] Learning Multi-resolution Functional Maps with Spectral Attention for Robust Shape Matching

Lei Li, Nicolas Donati+1 more|arXiv (Cornell University)|Oct 12, 2022

3D Shape Modeling and Analysis被引用 14

一句话总结

该论文提出了一种鲁棒的非刚性形状匹配框架，通过谱注意力机制学习多分辨率功能映射，根据输入形状特征自适应选择最优谱分辨率。通过可微谱上采样模块将不同分辨率的映射进行融合，并利用可学习的注意力模块组合多分辨率映射，该方法在近等距和非等距形状匹配基准上均实现了最先进性能，显著提升了准确性和鲁棒性，且无需人工调整谱分辨率超参数。

ABSTRACT

In this work, we present a novel non-rigid shape matching framework based on multi-resolution functional maps with spectral attention. Existing functional map learning methods all rely on the critical choice of the spectral resolution hyperparameter, which can severely affect the overall accuracy or lead to overfitting, if not chosen carefully. In this paper, we show that spectral resolution tuning can be alleviated by introducing spectral attention. Our framework is applicable in both supervised and unsupervised settings, and we show that it is possible to train the network so that it can adapt the spectral resolution, depending on the given shape input. More specifically, we propose to compute multi-resolution functional maps that characterize correspondence across a range of spectral resolutions, and introduce a spectral attention network that helps to combine this representation into a single coherent final correspondence. Our approach is not only accurate with near-isometric input, for which a high spectral resolution is typically preferred, but also robust and able to produce reasonable matching even in the presence of significant non-isometric distortion, which poses great challenges to existing methods. We demonstrate the superior performance of our approach through experiments on a suite of challenging near-isometric and non-isometric shape matching benchmarks.

研究动机与目标

• 解决基于功能映射的形状匹配对谱分辨率超参数选择的敏感性问题。
• 使深度学习模型能够根据输入形状的复杂度自适应选择最优谱分辨率。
• 提升非等距形状匹配中的鲁棒性，避免高分辨率映射因误差和过拟合导致的性能下降。
• 在单一框架中统一监督与无监督训练，实现对多样化形状类型的泛化能力。
• 通过注意力机制学习分辨率感知表征，减少对手动选择分辨率的依赖。

提出的方法

• 该方法使用共享的功能映射网络，在不同谱分辨率下计算多个功能映射。
• 谱注意力网络学习根据输入形状特征为每个多分辨率映射分配自适应权重。
• 可微谱上采样模块将所有中间映射对齐至统一分辨率以实现融合。
• 最终对应关系通过使用预测的注意力权重对所有多分辨率映射进行加权求和得到。
• 设计了一种新型损失函数，同时惩罚中间多分辨率映射与最终融合映射，提升表征质量。
• 该框架支持监督与无监督训练，具备广泛适用性，并与现有深度功能映射架构兼容。

实验结果

研究问题

• RQ1 深度学习模型能否以数据依赖的方式学习到非刚性形状匹配中最佳谱分辨率？
• RQ2 与单分辨率基线相比，结合注意力机制的多分辨率功能映射表征在非等距形状上如何提升鲁棒性？
• RQ3 与均匀或启发式加权方案相比，谱注意力在多大程度上提升了匹配精度？
• RQ4 所提方法能否在不同特征主干网络和训练范式（监督/无监督）之间实现泛化？
• RQ5 在多分辨率映射上引入中间监督是否显著提升了最终对应质量？

主要发现

• 在无监督训练下，该方法在SMAL基准上的平均对应误差为5.4%，优于GeomFmaps（8.4%）及其他SOTA方法。
• 在非等距FAUST数据集上，该方法使用Ours-Fast配置实现5.8%的误差率，显著优于均匀加权基线（56.2%）。
• 谱注意力机制学习到对非等距形状更倾向于赋予中等分辨率映射（50–150）更高权重，表明在形变下低分辨率映射更具可靠性。
• 消融实验证实，中间监督（L_inter）使性能提升7.7个百分点，证明其在表征学习中的关键作用。
• 该方法在不同主干网络上具有泛化能力：将DiffusionNet替换为KPConv后，误差从9.4%降至6.8%，表明其具备广泛兼容性。
• 谱注意力机制使模型能够自动适应分辨率选择——对近等距形状偏好更高分辨率（150–200），对非等距形状则倾向较低分辨率（50–150）。