[论文解读] Learning to Compose Hypercolumns for Visual Correspondence

Juhong Min, Jong‐Min Lee+2 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Image and Video Retrieval Techniques参考文献 55被引用 4

一句话总结

本文提出动态超像素流（Dynamic Hyperpixel Flow），一种用于视觉对应的新方法，通过基于输入图像对动态组合超列特征，学习从深层卷积神经网络（CNN）中选择一组相关的卷积层。通过利用Gumbel-softmax采样实现可微分的层选择与自适应特征融合，该模型在语义对应基准上实现了最先进性能，相较于静态、单体化的特征表示，在准确率与效率方面均有提升。

ABSTRACT

Feature representation plays a crucial role in visual correspondence, and recent methods for image matching resort to deeply stacked convolutional layers. These models, however, are both monolithic and static in the sense that they typically use a specific level of features, e.g., the output of the last layer, and adhere to it regardless of the images to match. In this work, we introduce a novel approach to visual correspondence that dynamically composes effective features by leveraging relevant layers conditioned on the images to match. Inspired by both multi-layer feature composition in object detection and adaptive inference architectures in classification, the proposed method, dubbed Dynamic Hyperpixel Flow, learns to compose hypercolumn features on the fly by selecting a small number of relevant layers from a deep convolutional neural network. We demonstrate the effectiveness on the task of semantic correspondence, i.e., establishing correspondences between images depicting different instances of the same object or scene category. Experiments on standard benchmarks show that the proposed method greatly improves matching performance over the state of the art in an adaptive and efficient manner.

研究动机与目标

• 解决在视觉对应任务中，单体化与静态深度特征表示的局限性。
• 基于输入图像对，实现相关CNN层的自适应特征组合。
• 在存在较大类内差异（如视角变化与形变）的情况下，提升匹配准确率。
• 开发一种高效、可训练的架构，动态融合多层级特征，而无需依赖固定的层选择策略。
• 在强监督与弱监督学习设置下均证明方法的有效性。

提出的方法

• 该方法采用Gumbel-softmax可微采样策略，学习在CNN多个卷积层中进行离散的层选择。
• 将动态特征组合建模为门控机制，为每对图像选择少量层，实现多层级特征的自适应融合。
• 模型采用可学习的门控网络，通过多层感知机（MLP）预测层权重，其输入为输入图像对。
• 通过连接所选层的激活值构建超列特征，并利用可学习的特征变换（CFT）层降低维度。
• 提出一种新型损失函数 $\mathcal{L}_{\text{sel}}$，在训练过程中鼓励层选择的多样性，避免对特定层的过拟合。
• 该架构通过联合对应损失与层选择正则化实现端到端训练，支持高效推理。

实验结果

研究问题

• RQ1 与固定、单体化的特征表示相比，动态、可学习的层选择能否提升视觉对应性能？
• RQ2 从深层CNN中自适应组合多层级特征，对语义对应任务的准确率与效率有何影响？
• RQ3 通过Gumbel-softmax实现的可微分、随机层选择与软门控相比，对模型性能与泛化能力有何影响？
• RQ4 所提方法在强监督与弱监督设置下是否均具备良好的泛化能力？
• RQ5 与具有相似或更优准确率的现有方法相比，动态特征组合的计算成本如何？

主要发现

• 所提动态超像素流在PF-PASCAL基准上达到最先进性能，α=0.05时PCK得分为75.7，优于先前方法。
• 在PASCAL-Part数据集上，该方法在α=0.05时达到73.6的PCK得分，展现出对细粒度部件级对应的强泛化能力。
• Gumbel-softmax门控机制优于所有软门控变体（如Sigmoid、Sigmoid+ℓ1正则化），准确率更高，推理速度更快（58ms vs. 74ms）。
• 模型将有效特征维度平均降低至3962（μ=0.5），显著低于先前方法（如6400–10240），提升了效率。
• 消融实验表明，若移除层选择损失（$\mathcal{L}_{\text{sel}}$）或边缘损失（$\omega_m$），性能显著下降，证实了所提训练目标的重要性。
• 层选择频率分析表明，模型学习到了多样化、非均匀的层选择模式，表明其有效探索了多层级表示。