[论文解读] Hierarchical Deep Stereo Matching on High-resolution Images

Gengshan Yang, Joshua Manela+2 more|arXiv (Cornell University)|Dec 13, 2019

Advanced Vision and Imaging参考文献 42被引用 5

一句话总结

本文提出了一种分层深度立体匹配框架，实现了实时、高分辨率的视差估计，并具备按需推理能力。通过利用从粗到细的三维特征体积金字塔以及一种新型高分辨率合成数据集，该方法在 Middlebury-v3 和 KITTI-15 上实现了最先进性能，同时将近距离物体的延迟降低至30ms。

ABSTRACT

We explore the problem of real-time stereo matching on high-res imagery. Many state-of-the-art (SOTA) methods struggle to process high-res imagery because of memory constraints or speed limitations. To address this issue, we propose an end-to-end framework that searches for correspondences incrementally over a coarse-to-fine hierarchy. Because high-res stereo datasets are relatively rare, we introduce a dataset with high-res stereo pairs for both training and evaluation. Our approach achieved SOTA performance on Middlebury-v3 and KITTI-15 while running significantly faster than its competitors. The hierarchical design also naturally allows for anytime on-demand reports of disparity by capping intermediate coarse results, allowing us to accurately predict disparity for near-range structures with low latency (30ms). We demonstrate that the performance-vs-speed trade-off afforded by on-demand hierarchies may address sensing needs for time-critical applications such as autonomous driving.

研究动机与目标

• 解决高分辨率图像上实时立体匹配的挑战，这对自动驾驶等安全关键应用至关重要。
• 克服现有方法在高分辨率立体匹配中因计算开销导致的内存与速度限制。
• 通过截断中间粗略结果，实现任意时间点的按需视差报告，支持对附近障碍物的低延迟感知。
• 提供一个用于训练和评估的高分辨率立体数据集，以解决此类基准数据稀缺的问题。
• 通过数据增强提升对真实世界传感器差异（如校准误差、曝光变化、光照变化）的鲁棒性。

提出的方法

• 设计一种分层端到端的深度学习框架，通过从粗到细的三维特征体积金字塔处理立体图像。
• 使用自定义的基于ResNet的“蝴蝶”编码器-解码器网络，从校正后的高分辨率立体图像对中提取多尺度描述符。
• 通过沿视差扫描线计算差异，在每个尺度上构建4D特征体积，并使用步长大于1的3D卷积以减少内存占用。
• 使用3D卷积解码每个特征体积，生成按需的视差估计，并上采样结果以与更精细尺度的结果融合。
• 引入非对称数据增强技术，包括y方向视差偏移和色彩调整，以提升对校准和曝光误差的鲁棒性。
• 利用城市模拟器生成的合成高分辨率立体数据预训练模型，并通过加入真实世界的校准误差增强模型鲁棒性。

实验结果

研究问题

• RQ1 分层深度立体匹配框架是否能在保持实时推理速度的同时，在高分辨率立体基准上实现最先进性能？
• RQ2 合成高分辨率立体数据在多大程度上能提升深度立体匹配的泛化能力与鲁棒性？
• RQ3 所提出的按需视差估计能力在降低近距离物体检测延迟方面有多高效？
• RQ4 与先前方法相比，该模型在应对校准误差、曝光变化和光照变化时的鲁棒性如何？
• RQ5 从粗到细的处理是否能抑制校准误差的影响，并在条件不完美时提升视差估计的准确性？

主要发现

• 所提出的HSM模型在Middlebury-v3和KITTI-15基准上实现了最先进性能，在准确率和速度方面均优于先前方法。
• 该模型对近距离结构的视差报告最快仅需30ms，实现了自动驾驶中至关重要的低延迟深度感知。
• 在Middlebury-v3上，模型在完美校准图像上的平均误差为3.9px，在校准不完美的图像上仅为4.1px，校准误差导致的误差率仅增加5.9%。
• 模型对曝光变化表现出更优的鲁棒性，曝光改变时平均误差率仅增加8.2%（而ELAS-H增加44.2%）。
• 在光照变化下，模型误差增加131.1%，虽仍高于理想值，但优于ELAS-H的148.4%增加，尽管两者在严重阴影变化下均表现不佳。
• 模型在存在小范围相机遮挡的情况下仍能成功推断视差，可能得益于单目线索和上下文信息，如定性结果所示。