[论文解读] Cross-Scale Cost Aggregation for Stereo Matching

Kang Zhang, Yuqiang Fang+4 more|arXiv (Cornell University)|Mar 3, 2014

Advanced Vision and Imaging被引用 35

一句话总结

本文提出了一种通用的跨尺度代价聚合框架，通过将多尺度信息整合到现有的代价聚合方法中，提升了立体匹配性能。通过将代价聚合建模为带有跨尺度正则化项的统一加权最小二乘优化问题，该方法在Middlebury、KITTI和New Tsukuba等数据集上显著提升了鲁棒性与准确性，即使对于简单的滤波器（如盒滤波）也实现了显著的性能提升。

ABSTRACT

Human beings process stereoscopic correspondence across multiple scales. However, this bio-inspiration is ignored by state-of-the-art cost aggregation methods for dense stereo correspondence. In this paper, a generic cross-scale cost aggregation framework is proposed to allow multi-scale interaction in cost aggregation. We firstly reformulate cost aggregation from a unified optimization perspective and show that different cost aggregation methods essentially differ in the choices of similarity kernels. Then, an inter-scale regularizer is introduced into optimization and solving this new optimization problem leads to the proposed framework. Since the regularization term is independent of the similarity kernel, various cost aggregation methods can be integrated into the proposed general framework. We show that the cross-scale framework is important as it effectively and efficiently expands state-of-the-art cost aggregation methods and leads to significant improvements, when evaluated on Middlebury, KITTI and New Tsukuba datasets.

研究动机与目标

• 解决当前代价聚合方法仅在最细尺度上操作、忽略人类立体视觉中观察到的多尺度处理的局限性。
• 开发一种可泛化的框架，使代价聚合中的跨尺度交互成为可能，而无需修改现有方法。
• 通过在统一优化公式中引入新颖的正则化项，强制实现跨尺度一致性，从而提升视差图质量。
• 在多种数据集（包括Middlebury、KITTI和New Tsukuba）上验证框架的有效性，涵盖不同条件下的表现。

提出的方法

• 将各种代价聚合方法（如双边滤波、引导滤波、非局部滤波）重新表述为带有相似性核的加权最小二乘（WLS）优化问题。
• 引入广义Tikhonov正则化项，以在相邻尺度的代价体积之间强制实现一致性，促进跨尺度交互。
• 提出一种新的凸优化目标，结合尺度内代价聚合与跨尺度正则化，可通过解析方法求解。
• 通过保留原有核函数并添加跨尺度正则化，将现有代价聚合方法集成到该框架中。
• 根据数据集选择使用强度+梯度或Census变换代价函数进行代价体积计算。
• 利用闭式解高效求解优化问题，实现实时或近实时性能。

实验结果

研究问题

• RQ1 代价聚合中的多尺度交互是否能显著提升立体匹配性能？
• RQ2 跨尺度正则化如何增强现有代价聚合方法的鲁棒性？
• RQ3 所提出的框架是否能泛化至不同类型的代价聚合技术，包括简单与复杂滤波器？
• RQ4 在精度与细节保留之间，尺度内与跨尺度正则化之间的最优平衡点是什么？
• RQ5 该框架是否能在具有无纹理区域和复杂光照条件的挑战性数据集上提升性能？

主要发现

• 跨尺度代价聚合框架在Middlebury、KITTI和New Tsukuba数据集上显著提升了所有测试方法的性能。
• 即使是最简单的盒滤波器（BOX），在与该框架结合后，New Tsukuba数据集上的Out-All误差率也降至14.40%，优于未使用该框架的更复杂方法。
• S+GF变体在New Tsukuba数据集上实现了14.40%的Out-All误差率，表明该框架能增强高性能方法的表现。
• 在Middlebury数据集上，S+BOX变体将Avg-Noc误差从7.37 px降低至3.92 px，表明在计算成本极低的情况下实现了显著改进。
• 正则化参数λ被发现对性能有关键影响，最优值需在跨尺度一致性与细节保留之间取得平衡。
• 该框架在KITTI数据集上提升了所有测试方法，包括NL、ST、BF和GF，证实其在多样化立体匹配场景下的泛化能力与有效性。