[论文解读] Dynamic Context Correspondence Network for Semantic Alignment

Shuaiyi Huang, Qiuyue Wang+3 more|arXiv (Cornell University)|Sep 8, 2019

Video Surveillance and Tracking Methods参考文献 35被引用 7

一句话总结

本文提出动态上下文对应网络（DCCNet），一种通过可学习注意力机制将局部特征与上下文感知语义表征融合的深度学习框架，以提升语义对应性能。通过整合空间布局线索并动态融合多尺度特征，DCCNet在PF-Pascal、PF-Willow和TSS基准上实现最先进性能，在大多数设置下优于先前方法。

ABSTRACT

Establishing semantic correspondence is a core problem in computer vision and remains challenging due to large intra-class variations and lack of annotated data. In this paper, we aim to incorporate global semantic context in a flexible manner to overcome the limitations of prior work that relies on local semantic representations. To this end, we first propose a context-aware semantic representation that incorporates spatial layout for robust matching against local ambiguities. We then develop a novel dynamic fusion strategy based on attention mechanism to weave the advantages of both local and context features by integrating semantic cues from multiple scales. We instantiate our strategy by designing an end-to-end learnable deep network, named as Dynamic Context Correspondence Network (DCCNet). To train the network, we adopt a multi-auxiliary task loss to improve the efficiency of our weakly-supervised learning procedure. Our approach achieves superior or competitive performance over previous methods on several challenging datasets, including PF-Pascal, PF-Willow, and TSS, demonstrating its effectiveness and generality.

研究动机与目标

• 解决语义对应中类别内大尺度差异与模糊局部特征的挑战。
• 提升在重复图案与背景杂波干扰下的对应匹配鲁棒性。
• 设计一种动态融合机制，自适应地结合局部与全局语义线索。
• 通过多辅助任务损失提升弱监督训练效率。
• 在无需密集标注的情况下，实现在基准数据集上的优越泛化能力与准确性。

提出的方法

• 提出一种上下文感知语义表征，将外观特征与自相似性模式描述符结合，以编码空间布局与全局上下文信息。
• 引入基于像素级注意力机制的动态融合策略，用于结合局部特征与上下文感知特征的关联图。
• 设计一个端到端可训练的DCCNet，包含三个模块：空间上下文编码器、关联网络与注意力融合网络。
• 采用多辅助任务损失，引入额外监督信号以正则化训练并提升弱监督设置下的收敛性。
• 在关联网络中使用共享分支，分别计算原始卷积特征与上下文感知特征的关联图。
• 利用主干CNN（如ResNet）提取图像初始特征，再输入DCCNet各模块进行处理。

实验结果

研究问题

• RQ1 整合全局空间布局与语义上下文是否能提升在类别内大尺度差异下的匹配鲁棒性？
• RQ2 基于注意力的动态融合机制在对应预测中，能否有效结合多尺度语义线索？
• RQ3 多辅助任务损失是否能提升弱监督语义对应训练的效率与性能？
• RQ4 与先前方法相比，所提方法在减少重复图案匹配模糊性方面达到何种程度？
• RQ5 该模型在有限监督下是否能在包含PF-Pascal、PF-Willow与TSS的多样化数据集上实现良好泛化？

主要发现

• 在PF-PASCAL数据集上，DCCNet取得82.3%的PCK分数，超过此前最先进方法NC-Net（78.9%）。
• 在TSS数据集上，DCCNet在α=0.05时达到77.9%的PCK分数，优于NC-Net（77.7%）及其他先前方法。
• 消融实验证实，动态融合模块相比平均融合方式性能提升2.1%（80.2% vs. 82.3%）。
• 多辅助任务损失相比无辅助损失基线提升1.3%的PCK分数（81.0% vs. 82.3%）。
• 空间上下文编码器采用25×25卷积核时性能最优，更大卷积核因背景杂波导致准确率下降。
• 在融合过程中不使用关联图嵌入的模型性能更差（79.9%），证实4D关联特征在注意力融合中的关键作用。