[论文解读] DeepMatching: Hierarchical Deformable Dense Matching

Jérôme Revaud, Philippe Weinzaepfel+2 more|arXiv (Cornell University)|Jun 25, 2015

Advanced Vision and Imaging参考文献 9被引用 8

一句话总结

DeepMatching 是一种分层可变形密集匹配方法，采用受深度卷积网络启发的多层相关性架构，以处理非刚性形变和重复纹理。它在 Mikolajczyk、MPI-Sintel 和 Kitti 基准测试中达到最先进性能，并通过与变分光流估计集成，实现了具有竞争力的光学流方法 DeepFlow。

ABSTRACT

We introduce a novel matching algorithm, called DeepMatching, to compute dense correspondences between images. DeepMatching relies on a hierarchical, multi-layer, correlational architecture designed for matching images and was inspired by deep convolutional approaches. The proposed matching algorithm can handle non-rigid deformations and repetitive textures and efficiently determines dense correspondences in the presence of significant changes between images. We evaluate the performance of DeepMatching, in comparison with state-of-the-art matching algorithms, on the Mikolajczyk (Mikolajczyk et al 2005), the MPI-Sintel (Butler et al 2012) and the Kitti (Geiger et al 2013) datasets. DeepMatching outperforms the state-of-the-art algorithms and shows excellent results in particular for repetitive textures.We also propose a method for estimating optical flow, called DeepFlow, by integrating DeepMatching in the large displacement optical flow (LDOF) approach of Brox and Malik (2011). Compared to existing matching algorithms, additional robustness to large displacements and complex motion is obtained thanks to our matching approach. DeepFlow obtains competitive performance on public benchmarks for optical flow estimation.

研究动机与目标

• 解决在具有非刚性形变和弱纹理或重复纹理的图像中计算密集对应关系的挑战。
• 克服传统基于描述子的方法（如 SIFT、HOG）在非刚性或无纹理区域失效的局限性。
• 通过引入分层多尺度匹配架构，改进基于传播的方法在重复图案下表现不佳的问题。
• 通过将 DeepMatching 集成到大位移光流（LDOF）框架中，开发一种鲁棒的光学流估计方法。
• 通过核心算法的快速、尺度/旋转不变变体，在低内存开销下实现高性能。

提出的方法

• 采用分层多层架构，将图像块分解为子块，以实现多尺度匹配和形变建模。
• 在每一层下，在有界刚性形变假设下计算局部匹配，然后将匹配结果沿层级向上传播并优化。
• 使用梯度直方图作为特征表示，以增强对光照和色彩变化的鲁棒性。
• 将 DeepMatching 集成到 Brox 和 Malik（2011）的变分能量最小化框架中，构建用于大位移光流的 DeepFlow。
• 应用 DeepMatching 的快速、内存高效的变体，在降低计算成本的同时保持高精度。
• 在层级中使用加权匹配得分，逐步消除错误匹配，提升对应关系的可靠性。

实验结果

研究问题

• RQ1 与现有方法相比，深度分层架构是否能显著提升密集匹配对非刚性形变和重复纹理的鲁棒性？
• RQ2 分层多尺度设计在低纹理或高重复性的困难图像区域中，如何提升匹配精度？
• RQ3 DeepMatching 在 MPI-Sintel 和 Kitti 等标准基准测试中，能否显著超越最先进匹配算法？
• RQ4 DeepMatching 是否能有效集成到变分光学流框架中，实现在公开基准测试中的竞争力表现？
• RQ5 DeepMatching 的快速变体是否在显著降低内存和计算成本的同时，仍保持足够的精度？

主要发现

• DeepMatching 在 Mikolajczyk、MPI-Sintel 和 Kitti 数据集中达到最先进性能，尤其在重复纹理匹配方面表现突出。
• 在 MPI-Sintel 基准测试中，DeepMatching 实现了平均端点误差（EPE）0.56 px，优于先前方法，在处理大位移和非刚性运动方面表现更优。
• 基于 DeepMatching 构建的光学流方法 DeepFlow，在 Kitti 测试集（非遮挡区域）上实现 EPE 1.4，位列顶尖方法之列。
• DeepMatching 的快速版本在半分辨率下 CPU 运行时间为 15 秒，GPU 版本仅需 0.2 秒，具备实时部署潜力。
• DeepFlow 在 CPU 上总运行时间为 22 秒，GPU+CPU 配置下为 10.2 秒，与当前最快最先进方法（如 EpicFlow）相当。
• 该方法在不同数据集间泛化能力良好，于 MPI-Sintel 上优化的参数在 Kitti 上 EPE-Noc 仅下降 0.1 px，表明无过拟合现象。