[论文解读] Matching neural paths: transfer from recognition to correspondence search

Nikolay Savinov, Ľubor Ladický+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

本文提出了一种新颖的方法，通过在预训练卷积神经网络的多层中进行分层特征匹配，实现低层次对应匹配。通过利用识别任务的迁移学习，并采用多项式时间算法聚合神经路径，该方法在无需目标域标注数据的情况下，实现了具有竞争力的立体匹配性能。

ABSTRACT

Many machine learning tasks require finding per-part correspondences between objects. In this work we focus on low-level correspondences --- a highly ambiguous problem. We propose to use a hierarchical semantic representation of the objects, coming from a convolutional neural network, to solve this ambiguity. Training it for low-level correspondence prediction directly might not be an option in some domains where the ground-truth correspondences are hard to obtain. We show how transfer from recognition can be used to avoid such training. Our idea is to mark parts as matching if their features are close to each other at all the levels of convolutional feature hierarchy (neural paths). Although the overall number of such paths is exponential in the number of layers, we propose a polynomial algorithm for aggregating all of them in a single backward pass. The empirical validation is done on the task of stereo correspondence and demonstrates that we achieve competitive results among the methods which do not use labeled target domain data.

研究动机与目标

• 为解决低层次对应匹配问题，该问题高度模糊且通常缺乏可靠的地面真实标注。
• 在难以或无法对每个部分进行标注的领域中实现对应学习。
• 利用预训练识别模型的分层语义表征来指导对应预测。
• 开发一种高效算法，聚合特征层次中所有可能的神经路径。
• 在无需目标域标注训练数据的情况下，实现具有竞争力的立体对应性能。

提出的方法

• 该方法通过测量卷积特征层次所有层级之间的特征相似性来识别匹配部分，形成‘神经路径’。
• 定义了一种匹配标准：若两个部分在层次的每一层中特征都相近，则认为它们是对应的。
• 采用多项式时间的反向传播算法，高效地将所有指数级规模的神经路径组合聚合为单一可微分得分。
• 该方法使用预训练的CNN进行特征提取，将识别任务中的语义知识迁移至对应任务。
• 最终的对应得分通过累加所有有效神经路径配置计算得出，支持端到端优化。
• 该方法以弱监督方式运行，仅依赖识别监督，无需每个部分的对应标注。

实验结果

研究问题

• RQ1 在无直接监督的情况下，跨多个CNN层级的分层特征匹配是否能提升低层次对应预测性能？
• RQ2 如何有效将预训练识别模型的知识迁移至对应搜索任务？
• RQ3 是否能够在多项式时间内聚合特征层次中所有可能的神经路径？
• RQ4 该方法是否能在无目标域标注数据的情况下实现具有竞争力的立体对应性能？
• RQ5 多层级特征一致性对对应准确率有何影响？

主要发现

• 与使用目标域标注数据的最先进方法相比，该方法在立体对应性能上表现具有竞争力。
• 在整个层次结构中使用多层级特征一致性，显著提升了匹配准确率，优于单层比较。
• 所提出的多项式时间聚合算法实现了对指数级神经路径的高效计算。
• 从识别任务的迁移使模型在目标域缺乏每个部分对应标注时仍能实现优异性能。
• 通过利用分层语义表征，该方法在低层次对应中的噪声和模糊性下表现出鲁棒性。
• 实证结果证实，通过一致神经路径进行匹配比基线方法更可靠。