[论文解读] Integrative Feature and Cost Aggregation with Transformers for Dense Correspondence

Sunghwan Hong, Seokju Cho+2 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

该论文提出IFCAT，一种基于Transformer的新架构，通过互补且交错的方式联合聚合特征描述符与代价体积，以提升密集对应性能。通过使用自注意力机制，利用噪声较大的代价体积引导来优化特征；并通过交叉注意力机制，借助双向特征与代价监督增强匹配效果。IFCAT在SPair-71k、PF-PASCAL、PF-WILLOW和HPatches等多个基准上达到最先进性能，其中SPair-71k上达到64.4%，HPatches上达到17.59 AEPE。

ABSTRACT

We present a novel architecture for dense correspondence. The current state-of-the-art are Transformer-based approaches that focus on either feature descriptors or cost volume aggregation. However, they generally aggregate one or the other but not both, though joint aggregation would boost each other by providing information that one has but other lacks, i.e., structural or semantic information of an image, or pixel-wise matching similarity. In this work, we propose a novel Transformer-based network that interleaves both forms of aggregations in a way that exploits their complementary information. Specifically, we design a self-attention layer that leverages the descriptor to disambiguate the noisy cost volume and that also utilizes the cost volume to aggregate features in a manner that promotes accurate matching. A subsequent cross-attention layer performs further aggregation conditioned on the descriptors of both images and aided by the aggregated outputs of earlier layers. We further boost the performance with hierarchical processing, in which coarser level aggregations guide those at finer levels. We evaluate the effectiveness of the proposed method on dense matching tasks and achieve state-of-the-art performance on all the major benchmarks. Extensive ablation studies are also provided to validate our design choices.

研究动机与目标

• 解决现有基于Transformer的密集对应方法存在的局限性：仅执行特征聚合或代价聚合，而无法以协同方式同时处理两者。
• 利用特征描述符（语义/结构上下文）与代价体积（像素级匹配相似性）的互补优势，提升匹配精度。
• 设计一种联合聚合机制，通过交错排列的自注意力与交叉注意力层，实现特征与代价体积之间的相互增强。
• 通过分层处理提升性能，其中粗粒度输出引导后续细粒度聚合。
• 在几何与语义匹配任务的多个标准基准上建立新的最先进水平。

提出的方法

• 提出一种自注意力层，利用特征描述符来消除噪声较大的代价体积中的歧义，并通过引入匹配相似性信息，利用代价体积指导特征聚合。
• 引入一种交叉注意力层，其条件基于两幅图像的描述符，并借助早期层聚合的特征与代价体积进一步优化表示。
• 交错排列自注意力与交叉注意力模块，实现特征与代价体积的迭代优化与相互增强。
• 实施分层处理机制，其中粗粒度层级的特征与代价体积输出引导后续更精细层级的聚合。
• 设计架构时兼顾计算效率与高性能，通过消融实验分析深度与效率指标。
• 采用可学习损失函数，端到端训练模型，优化目标为AEPE与匹配基准上的bbox准确率。

实验结果

研究问题

• RQ1 在基于Transformer的框架中，通过联合聚合特征描述符与代价体积，是否能超越顺序或孤立处理方式，显著提升密集对应性能？
• RQ2 通过自注意力与交叉注意力机制整合特征与代价体积信息，如何增强匹配精度与鲁棒性？
• RQ3 分层处理在密集对应任务中，对整合聚合性能的提升程度如何？
• RQ4 自注意力、交叉注意力与分层设计等各架构组件对最终性能提升的贡献分别是什么？
• RQ5 在多样化的基准上，该方法与现有最先进方法相比，在精度与效率方面表现如何？

主要发现

• IFCAT在SPair-71k上达到64.4%（α_bbox = 0.1），在HPatches上达到17.59 AEPE，所有评估基准上均建立新的最先进水平。
• 消融实验表明，仅聚合特征或仅聚合代价体积时性能提升有限（例如，仅使用特征自注意力时SPair-71k上为36.1%），而联合聚合显著提升结果。
• 整合性自注意力层（SPair-71k上为54.7%）与后续的交叉注意力层（58.5%）逐步提升性能，证明互补信息流的价值。
• 分层处理进一步将SPair-71k上的性能从58.5%提升至64.4%，HPatches上的AEPE从24.41降至17.59，证实了自粗到细引导的有效性。
• 增加注意力模块深度（N）可单调提升性能（例如SPair-71k上从55.4%提升至64.7%），尽管伴随内存与运行时间成本的增加。
• 当独立使用时，该方法在HPatches上优于两种两阶段RANSAC方法，展现出强大的泛化能力，且不依赖于单应性估计。