[论文解读] Continuous Markov Random Fields for Robust Stereo Estimation

Koichiro Yamaguchi, Tamir Hazan+2 more|arXiv (Cornell University)|Apr 6, 2012

Advanced Vision and Imaging参考文献 1被引用 8

一句话总结

该论文提出了一种用于立体匹配的混合连续-离散马尔可夫随机场模型，通过使用倾斜的3D平面和边界标签，联合推断深度与遮挡边界。通过采用粒子凸信念传播进行推理，该方法在高分辨率Middlebury和KITTI数据集上的性能达到当前最先进水平，每幅图像的推理时间少于2.5分钟，显著优于以往基于倾斜平面的MRF方法，在准确性和效率方面均有大幅提升。

ABSTRACT

In this paper we present a novel slanted-plane MRF model which reasons jointly about occlusion boundaries as well as depth. We formulate the problem as the one of inference in a hybrid MRF composed of both continuous (i.e., slanted 3D planes) and discrete (i.e., occlusion boundaries) random variables. This allows us to define potentials encoding the ownership of the pixels that compose the boundary between segments, as well as potentials encoding which junctions are physically possible. Our approach outperforms the state-of-the-art on Middlebury high resolution imagery as well as in the more challenging KITTI dataset, while being more efficient than existing slanted plane MRF-based methods, taking on average 2 minutes to perform inference on high resolution imagery.

研究动机与目标

• 解决现有基于倾斜平面MRF的立体匹配方法在计算效率上的不足以及遮挡推理能力有限的问题。
• 通过在统一框架中联合建模连续的深度（continuous）与离散的遮挡边界（discrete），提升立体深度估计的准确性。
• 通过利用避免对连续变量过早量化的方法，实现对高分辨率图像的高效推理。
• 通过节点势函数引入物理合理性约束，确保在区域边界处标签的一致性。
• 在Middlebury和KITTI等具有挑战性的数据集上实现SOTA性能，同时保持实际可用的推理时间。

提出的方法

• 将立体匹配建模为包含连续变量（倾斜3D平面）和离散变量（遮挡边界标签）的混合MRF中的推理问题。
• 引入“边界标签”以编码区域边界处像素的所有权，区分左向遮挡、右向遮挡、铰链点与共面节点。
• 引入节点势函数，通过限制区域连接点处边界标签的有效组合，强制实现物理一致性。
• 采用粒子凸信念传播（PCBP）进行推理，实现对连续参数空间的精确探索，避免固定量化。
• 利用原始-对偶优化框架学习模型势函数，训练数据来源于半全局匹配的视差图。
• 通过重采样与基于粒子的近似方法，在推理精度与运行时间之间取得平衡，高分辨率图像的推理时间可控制在2.5分钟以内。

实验结果

研究问题

• RQ1 在连续深度平面与离散遮挡边界上进行联合推理，是否能提升立体匹配的准确性？
• RQ2 基于粒子的推理方法是否能在高分辨率立体图像上实现高性能且合理的运行时间？
• RQ3 节点势函数与边界标签设计在建模物理上合理的场景结构方面有何改进作用？
• RQ4 所提方法在基准数据集上相较于现有基于倾斜平面的MRF方法，性能提升程度如何？
• RQ5 该方法对噪声及训练数据规模变化的鲁棒性如何？

主要发现

• 该方法在高分辨率Middlebury数据集上实现了SOTA性能，优于以往基于倾斜平面的MRF方法。
• 在更具挑战性的KITTI数据集上，该方法实现了SOTA结果，同时保持每幅图像推理时间低于2.5分钟。
• 模型仅经过2轮重采样迭代即可收敛至良好的局部最优解，使高分辨率图像的推理时间从5.5分钟缩短至2.2分钟。
• 即使在单张图像训练设置下，该方法仍优于所有基线模型，表明其具备强大的泛化能力与鲁棒的模型学习能力。
• Oracle性能分析表明，3D倾斜平面的离散化引入的误差可忽略不计，证实性能差距主要源于推理与学习过程。
• 该方法对噪声表现出强鲁棒性：随着噪声标准差从0增加到5，RMS视差误差从0.44像素上升至4.40像素，边界误差从0.3%上升至8.9%。