[论文解读] A case for using rotation invariant features in state of the art feature matchers

Georg Bökman, Fredrik Kahl|arXiv (Cornell University)|Apr 21, 2022

Robotics and Sensor-Based Localization被引用 7

一句话总结

本论文表明，将SOTA级LoFTR特征匹配器中的标准CNN主干网络替换为可旋转的CNN（即对旋转具有等变性的网络）可显著提升对图像旋转的鲁棒性，同时在标准非旋转图像对上保持性能不变。关键贡献在于一种简单而有效的改进方法，以极低的计算成本实现了旋转不变特征，并在多种几何变换下均取得一致的性能提升。

ABSTRACT

The aim of this paper is to demonstrate that a state of the art feature matcher (LoFTR) can be made more robust to rotations by simply replacing the backbone CNN with a steerable CNN which is equivariant to translations and image rotations. It is experimentally shown that this boost is obtained without reducing performance on ordinary illumination and viewpoint matching sequences.

研究动机与目标

• 探究旋转不变特征是否能提升SOTA级学习型特征匹配器在图像匹配中的鲁棒性。
• 评估用可旋转CNN（对旋转和平移具有等变性）替换标准CNN对特征匹配性能的影响。
• 确定是否可在不牺牲标准图像匹配基准性能的前提下实现旋转不变性。
• 评估旋转不变特征在纯旋转之外的其他几何失真上的泛化能力。
• 探索将可旋转CNN集成到端到端学习型匹配流水线（如LoFTR）中的可行性与有效性。

提出的方法

• 将LoFTR中的标准CNN主干替换为对平移和图像旋转具有等变性的可旋转CNN，以实现旋转不变的特征提取。
• 实现三种不同可旋转CNN变体（SE2-LoFTR-4、SE2-LoFTR-4⋆、SE2-LoFTR-8⋆），采用不同的旋转对称性（4重和8重），以测试其不变性特性。
• 在HPatches及其几何变换变体（包括旋转HPatches-r、形变HPatches-h0.3、视角变化序列）上训练并评估改进后的LoFTR模型。
• 使用标准评估指标（如Corner Error AUC和Matching Accuracy（MMA））在3px、5px和10px阈值下比较各数据集上的性能表现。
• 基于E(2)对称性的表示理论，利用e2cnn库实现群等变卷积，确保等变性具有理论保证。
• 通过多个模型检查点进行消融实验，评估训练变异性，确保结果的稳健性。

实验结果

研究问题

• RQ1 在LoFTR中用可旋转CNN替换标准CNN，是否能在不降低标准图像对性能的前提下提升对图像旋转的鲁棒性？
• RQ2 使用旋转不变特征是否能在除简单旋转外的多种几何变换中实现一致的性能提升？
• RQ3 可旋转CNN带来的性能提升是否归因于其不变性特性，还是可能源于其他因素（如更优的特征表示）？
• RQ4 旋转对称性选择（如4重对称与8重对称）如何影响在旋转图像序列上的匹配性能？
• RQ5 能否以极低的计算开销将可旋转CNN集成到端到端学习型匹配器（如LoFTR）中，且不破坏整体流水线？

主要发现

• SE2-LoFTR-8⋆模型在HPatches-r45上优于基线LoFTR，其在3px、5px和10px阈值下的Corner Error AUC分别达到94.1、94.1和94.0，表现出强大的旋转不变性。
• 所有SE2变体在HPatches视角变化序列上均持续优于基线，表明其对几何变化的泛化能力得到提升。
• SE2-LoFTR-4⋆模型在HPatches-r上的Corner Error AUC达到94.3（3px阈值），表明即使4重对称性也能为基线带来显著提升。
• 在标准HPatches基准上，SE2-LoFTR-4⋆模型在3px阈值下取得94.5的Corner Error AUC，表明在非旋转图像上无性能下降。
• SE2-LoFTR-8⋆模型在HPatches-r45上的Matching Accuracy达到97.3%（10px阈值），显著优于基线LoFTR的96.1%。
• 在五个最佳验证检查点上的测试得分差异极小，所有指标的波动均小于1%，表明性能稳定可靠。