[论文解读] A Comparative Evaluation of SGM Variants (including a New Variant, tMGM) for Dense Stereo Matching

Sonali Patil, Tanmay Prakash+2 more|arXiv (Cornell University)|Nov 22, 2019

Advanced Vision and Imaging参考文献 21被引用 11

一句话总结

该论文提出了一种新型密集立体匹配算法 tMGM，结合了 tSGM 的分层优化与 MGM 的四边形区域支持区域，相较于 Middlebury 基准测试 V3 上的标准 SGM，性能提升了 6-8%。该方法在光照变化、无纹理区域和重复图案等挑战性条件下显著提升了准确性，同时提出了一种新颖的 DEM 雕刻技术，用于在卫星立体像对中获得更紧密的视差搜索范围。

ABSTRACT

Our goal here is threefold: [1] To present a new dense-stereo matching algorithm, tMGM, that by combining the hierarchical logic of tSGM with the support structure of MGM achieves 6-8\% performance improvement over the baseline SGM (these performance numbers are posted under tMGM-16 in the Middlebury Benchmark V3 ); and [2] Through an exhaustive quantitative and qualitative comparative study, to compare how the major variants of the SGM approach to dense stereo matching, including the new tMGM, perform in the presence of: (a) illumination variations and shadows, (b) untextured or weakly textured regions, (c) repetitive patterns in the scene in the presence of large stereo rectification errors. [3] To present a novel DEM-Sculpting approach for estimating initial disparity search bounds for multi-date satellite stereo pairs. Based on our study, we have found that tMGM generally performs best with respect to all these data conditions. Both tSGM and MGM improve the density of stereo disparity maps and combining the two in tMGM makes it possible to accurately estimate the disparities at a significant number of pixels that would otherwise be declared invalid by SGM. The datasets we have used in our comparative evaluation include the Middlebury2014, KITTI2015, and ETH3D datasets and the satellite images over the San Fernando area from the MVS Challenge dataset.

研究动机与目标

• 通过将 tSGM 的分层处理与 MGM 的四边形区域支持区域相结合，开发一种新型密集立体匹配算法 tMGM。
• 在光照变化、无纹理区域和重复图案等真实世界挑战性条件下，对 SGM 变体（包括 tMGM）进行全面的定量与定性比较。
• 提出一种新颖的 DEM 雕刻方法，用于在多时相卫星立体像对中估计更紧致的初始视差搜索范围。
• 在包括 Middlebury2014、KITTI2015、ETH3D 和 MVS Challenge 卫星数据在内的多种数据集上评估 tMGM 及其他 SGM 变体的性能。
• 证明 tMGM 在所有测试数据集和场景条件下均持续优于现有 SGM 变体。

提出的方法

• tMGM 采用受 tSGM 启发的粗到精分层框架，在多个尺度上进行视差估计，并逐步细化搜索范围。
• 在每一层，算法使用 16 个方向的 SGM 聚合策略计算代价体，利用 Census 变换进行数据代价计算。
• 该方法将 SGM 的扫描线支持区域替换为 MGM 的四边形区域支持区域，从而增强像素间的影响，提升视差一致性。
• 提出一种新颖的 DEM 雕刻技术以优化全局视差范围：基于 RPC 和 DEM 高程差异计算上下限偏移，通过校正和未校正视图投影稀疏点，推导出每个像素的视差范围。
• 通过使用 RPC 模型将稀疏视差范围反投影至世界坐标系，随后正投影并采用最近邻插值方法填补空洞。
• 最终视差图通过在聚合代价上使用胜者为王策略计算得出，其中 tMGM-16 使用 16 个方向和分层优化以实现最佳性能。

实验结果

研究问题

• RQ1 在光照变化和阴影条件下，所提出的 tMGM 算法与基线 SGM 及其他 SGM 变体相比，在准确性和鲁棒性方面表现如何？
• RQ2 分层处理与四边形区域支持区域在无纹理或弱纹理区域中对视差图质量的提升程度如何？
• RQ3 所提出的 DEM 雕刻方法在减小搜索空间并提升多时相卫星立体像对（尤其视差范围较大者）匹配精度方面的有效性如何？
• RQ4 在具有重复图案和大立体校正误差的场景中，tMGM 是否相比其他 SGM 变体仍保持更优性能？
• RQ5 tMGM 在 KITTI2015 数据集上的局限性是什么？如何加以改进？

主要发现

• 在 Middlebury 基准测试 V3 上，tMGM-16 相较于标准 SGM 实现了 6-8% 的性能提升，证明其在所有测试数据集中均具备更优的准确性。
• 由于采用分层优化与增强的支持结构，tMGM 在光照变化、阴影和无纹理区域中持续优于其他 SGM 变体。
• tSGM 的分层逻辑与 MGM 的四边形区域支持区域相结合，使 tMGM 能够生成比 SGM 更密集且更准确的视差图，尤其在 SGM 无法分配有效视差的区域表现更优。
• 所提出的 DEM 雕刻方法显著收紧了初始视差搜索范围，减少了误匹配，提升了卫星立体像对的匹配精度，尤其在初始范围较大且地形平坦的区域效果显著。
• 在 KITTI2015 数据集上，tMGM-16 表现几乎与最佳性能的变体相当，性能差距微小，主要归因于大运动和复杂场景结构。
• 研究结果证实，分层 SGM 变体（尤其是 tMGM）在所有测试场景条件下（包括校正不完美和重复图案）均比非分层对应方法更具鲁棒性和准确性。