[论文解读] AutoScaler: Scale-Attention Networks for Visual Correspondence

Shenlong Wang, Linjie Luo+2 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Image and Video Retrieval Techniques参考文献 40被引用 3

一句话总结

AutoScaler 提出了一种可学习的尺度注意力网络，以端到端的方式自适应地组合多尺度特征图，从而提高视觉对应匹配的准确性。通过使用共享权重的特征网络和尺度注意力机制，它在光流和语义匹配基准测试（包括 Sintel、KITTI 和 CUB-2011）上实现了最先进性能，并生成了可解释的注意力图，清晰展示了不同区域最优尺度的使用情况。

ABSTRACT

Finding visual correspondence between local features is key to many computer vision problems. While defining features with larger contextual scales usually implies greater discriminativeness, it could also lead to less spatial accuracy of the features. We propose AutoScaler, a scale-attention network to explicitly optimize this trade-off in visual correspondence tasks. Our network consists of a weight-sharing feature network to compute multi-scale feature maps and an attention network to combine them optimally in the scale space. This allows our network to have adaptive receptive field sizes over different scales of the input. The entire network is trained end-to-end in a siamese framework for visual correspondence tasks. Our method achieves favorable results compared to state-of-the-art methods on challenging optical flow and semantic matching benchmarks, including Sintel, KITTI and CUB-2011. We also show that our method can generalize to improve hand-crafted descriptors (e.g Daisy) on general visual correspondence tasks. Finally, our attention network can generate visually interpretable scale attention maps.

研究动机与目标

• 为解决视觉对应匹配中空间精度与上下文判别力之间的权衡问题，通过优化尺度选择来实现。
• 通过在多尺度特征上使用可学习的注意力机制，实现在不同图像区域自适应感受野大小。
• 在不依赖手工设计的尺度选择规则的前提下，提升密集对应任务（如光流估计与语义匹配）的性能。
• 推广至提升通用对应任务中的手工设计描述子（如 Daisy）。
• 生成视觉上可解释的尺度注意力图，揭示网络在何处以及为何选择特定尺度。

提出的方法

• 网络使用共享权重的特征提取器，从输入图像在多个分辨率下计算多尺度特征图。
• 注意力网络基于输入图像预测像素级注意力图，动态加权每个尺度的贡献。
• 通过使用预测的注意力图对多尺度特征进行加权求和，形成最终的特征图，从而实现自适应感受野。
• 整个模型在孪生网络框架中端到端训练，采用对比损失进行对应学习。
• 注意力机制在无显式尺度标签监督的情况下进行训练，从数据中学习最优的尺度组合。
• 该方法可通过将手工描述子的固定尺度特征替换为学习得到的多尺度特征，推广以提升其性能。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖启发式尺度选择规则的前提下，学习到最优组合多尺度特征的方法以实现视觉对应匹配？
• RQ2 自适应尺度加权在不同场景与物体尺度下如何提升对应匹配的准确性？
• RQ3 注意力机制能否生成可解释的图谱，反映网络的尺度选择策略？
• RQ4 所提出的方法是否能推广以提升现有手工设计描述子（如 Daisy）的性能？
• RQ5 与最先进方法相比，该模型在 Sintel、KITTI 和 CUB-2011 等挑战性基准测试中的表现如何？

主要发现

• 在 Sintel 基准测试中，AutoScaler 在干净版本和最终版本评估中均达到最先进性能，子像素精度优于先前方法。
• 在 KITTI 2015 光流基准测试中，AutoScaler 在所有像素上的误差点率（outlier rate）为 25.64%，在基于深度学习的方法中排名靠前。
• 在 CUB-2011 语义匹配数据集上，AutoScaler 在小阈值（α < 0.5）下的 PCK@α 取得最高值，表明其具有卓越的子像素精度。
• 在较大阈值（α ≥ 1.0）下，AutoScaler 排名第二，仅次于 Universal Correspondence Network，显示出在语义推理方面的强大泛化能力。
• 网络生成的注意力图具有视觉可解释性，显示在纹理丰富的区域更关注细尺度特征，而在无纹理区域则更关注粗尺度特征。
• 当使用学习得到的多尺度特征替换原有固定尺度特征时，该方法显著提升了手工描述子（如 Daisy）的性能，证明了其强大的泛化能力。