[论文解读] Learning the Matching Function

Ľubor Ladický, Christian Häne+1 more|arXiv (Cornell University)|Feb 2, 2015

Advanced Vision and Imaging参考文献 20被引用 18

一句话总结

本文提出了一种判别式训练的上下文匹配分类器，通过自动识别允许的视觉外观变化（如运动模糊、光照变化或季节性差异）来学习跨图像的像素匹配，而无需依赖手工设计的特征或显式正则化。该方法在立体匹配（KITTI）、光流估计（Sintel）以及一个新的TimeLapse变化检测数据集上实现了最先进性能，像素级准确率达到93.3%，即使在无正则化的情况下，对纹理缺失区域也表现出强鲁棒性。

ABSTRACT

The matching function for the problem of stereo reconstruction or optical flow has been traditionally designed as a function of the distance between the features describing matched pixels. This approach works under assumption, that the appearance of pixels in two stereo cameras or in two consecutive video frames does not change dramatically. However, this might not be the case, if we try to match pixels over a large interval of time. In this paper we propose a method, which learns the matching function, that automatically finds the space of allowed changes in visual appearance, such as due to the motion blur, chromatic distortions, different colour calibration or seasonal changes. Furthermore, it automatically learns the importance of matching scores of contextual features at different relative locations and scales. Proposed classifier gives reliable estimations of pixel disparities already without any form of regularization. We evaluated our method on two standard problems - stereo matching on KITTI outdoor dataset, optical flow on Sintel data set, and on newly introduced TimeLapse change detection dataset. Our algorithm obtained very promising results comparable to the state-of-the-art.

研究动机与目标

• 为解决传统匹配函数在图像间假设外观变化极小的局限性，尤其是在长时间间隔下表现不佳的问题。
• 通过学习判别式匹配函数，消除立体匹配与光流估计中对手动调优正则化和启发式先验的依赖。
• 通过区分结构变化与季节性或光照引起的外观变化，实现准确的像素级时间变化检测。
• 开发一种统一的、平移协变的分类器，将立体匹配、光流估计与变化检测统一为二分类匹配决策问题。
• 引入一个新的TimeLapse数据集，包含人工标注的地面真实数据，用于城市场景中的结构性变化。

提出的方法

• 该方法将匹配问题形式化为二分类问题：对每个像素，预测其是否与参考图像中的候选像素匹配。
• 通过判别式训练学习上下文匹配函数，自动识别跨尺度和空间位置的相关视觉外观变化及特征重要性。
• 分类器具有平移协变性，确保在图像平移下保持一致的视差或光流预测。
• 使用学习到的成本函数，结合局部块特征与上下文信息，替代传统的距离度量。
• 该方法在不使用任何形式正则化的情况下，仍因学习到函数的判别性而产生平滑结果。
• 该方法被应用于立体匹配（KITTI）、光流估计（Sintel）以及一个新的用于时间变化检测的TimeLapse数据集。

实验结果

研究问题

• RQ1 在存在显著外观变化的情况下，判别式训练的匹配函数是否能在立体匹配与光流估计中超越传统手工设计的相似性度量？
• RQ2 单一学习到的匹配函数在无任务特定工程的情况下，能否在不同任务（立体匹配、光流估计与时间变化检测）间实现良好泛化？
• RQ3 学习到的分类器在密集匹配任务中，能在多大程度上消除对显式正则化的依赖？
• RQ4 在长期时间序列数据中，该分类器能否可靠地区分结构变化与季节性或光照引起的视觉变化？
• RQ5 在传统方法因依赖正则化而失效的纹理缺失区域，该方法的有效性如何？

主要发现

• 所提出的分类器在新的TimeLapse变化检测数据集上实现了93.3%的像素级准确率，平均召回率达到86.9%，平均精确率达到87.9%。
• 在KITTI立体匹配数据集上，该方法在不使用任何形式正则化的情况下，仍取得了与最先进方法相当的性能。
• 在Sintel光流数据集上，单变量匹配结果显著低于标准特征匹配的噪声水平，并成功捕捉了大位移。
• 该分类器在墙壁和地面等纹理缺失区域表现出强鲁棒性，而传统方法因依赖正则化而在此类区域失效。
• 定性结果表明，该方法能正确识别结构变化（如新建建筑、车辆）的同时，忽略季节性变化（如积雪、落叶）。
• 该方法在粗到细光流流水线中展现出作为预处理步骤的强潜力，能提供可靠的初始光流估计。