[论文解读] CATs: Cost Aggregation Transformers for Visual Correspondence

Seokju Cho, Sunghwan Hong+4 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Neural Network Applications参考文献 56被引用 6

一句话总结

CATs 提出了一种基于 Transformer 的视觉对应成本聚合网络，利用全局自注意力机制对噪声初始相关图进行优化，结合外观亲和力建模、多层级特征聚合、互换自注意力机制以及残差连接。该方法在语义对应基准测试中实现了最先进性能，推理速度更快，并且对形变和外观变化具有更强的鲁棒性。

ABSTRACT

We propose a novel cost aggregation network, called Cost Aggregation Transformers (CATs), to find dense correspondences between semantically similar images with additional challenges posed by large intra-class appearance and geometric variations. Cost aggregation is a highly important process in matching tasks, which the matching accuracy depends on the quality of its output. Compared to hand-crafted or CNN-based methods addressing the cost aggregation, in that either lacks robustness to severe deformations or inherit the limitation of CNNs that fail to discriminate incorrect matches due to limited receptive fields, CATs explore global consensus among initial correlation map with the help of some architectural designs that allow us to fully leverage self-attention mechanism. Specifically, we include appearance affinity modeling to aid the cost aggregation process in order to disambiguate the noisy initial correlation maps and propose multi-level aggregation to efficiently capture different semantics from hierarchical feature representations. We then combine with swapping self-attention technique and residual connections not only to enforce consistent matching but also to ease the learning process, which we find that these result in an apparent performance boost. We conduct experiments to demonstrate the effectiveness of the proposed model over the latest methods and provide extensive ablation studies. Project page is available at : https://sunghwanhong.github.io/CATs/.

研究动机与目标

• 解决基于 CNN 的成本聚合方法在处理语义对应中大范围类内外观和几何变化时的局限性。
• 克服现有基于 CNN 的方法受感受野限制以及无法解决模糊匹配的问题。
• 利用 Transformer 的全局上下文建模能力，通过所有匹配得分的一致性来提升匹配精度。
• 整合外观亲和力建模与多层级特征表示，以增强在噪声相关图中的鲁棒性与去模糊能力。
• 设计一种可学习、高效且有效的成本聚合模块，超越手工设计与基于 CNN 的替代方案。

提出的方法

• 引入一种基于 Transformer 的成本聚合模块，对整个相关图应用自注意力机制，以捕捉匹配得分之间的全局一致性。
• 将外观嵌入与相关图拼接，以引导注意力机制，提升对噪声或模糊匹配的去模糊能力。
• 通过堆叠来自分层特征表示的相关图实现多层级聚合，以捕捉多样化的语义层级。
• 通过串行方式反转源与目标维度，应用互换自注意力机制，以强制实现双向一致性并减少不一致预测。
• 在注意力模块周围引入残差连接，以稳定训练过程并改善学习动态。
• 采用标准多头自注意力机制，使用可学习的查询、键和值，并端到端优化整个架构。

实验结果

研究问题

• RQ1 基于 Transformer 的成本聚合网络是否能在处理语义对应中的大范围外观与几何变化时，优于基于 CNN 和手工设计的方法？
• RQ2 引入外观亲和力建模对去模糊噪声初始相关图的效果如何？
• RQ3 多层级聚合在不同语义层级上对特征表示与匹配精度的提升程度如何？
• RQ4 与并行处理相比，串行互换相关图是否能增强双向一致性并减少不一致预测？
• RQ5 在内存占用、推理时间与精度方面，所提架构与先前方法相比在效率与性能上表现如何？

主要发现

• CATs 在 SPair-71k、LSPair-300K 及其他基准测试中均达到最先进性能，使用 $α_{\mathrm{bbox}} = 0.1$ 时在 SPair-71k 上的 PCK 达到 42.4，优于先前方法。
• 模型展现出卓越的效率，单张 RTX 2080 Ti GPU 上聚合器的推理时间仅为 7.4ms，显著快于 4D/6D 卷积与最优传输基线方法。
• 消融实验表明，每个组件——外观亲和力、多层级聚合、互换自注意力与残差连接——均对性能提升有贡献。
• 串行互换相关图的 PCK 达到 42.4，高于并行处理的 40.8，表明通过顺序优化可实现更优的一致性学习。
• 该方法对数据稀缺具有鲁棒性，并且受益于数据增强，表明未来可拓展至自监督学习。
• 尽管性能优异，CATs 仍会为非对应图像预测对应关系，提示未来工作需引入置信度感知模块。