[论文解读] EdgeStereo: A Context Integrated Residual Pyramid Network for Stereo Matching

Xiao Song, Xu Zhao+2 more|arXiv (Cornell University)|Mar 14, 2018

Advanced Vision and Imaging参考文献 37被引用 23

一句话总结

EdgeStereo 提出了一种统一的、端到端的深度学习框架，通过上下文融合的残差金字塔网络联合预测视差图和边缘图。通过特征嵌入和边缘感知平滑损失整合边缘线索，该模型在纹理缺失区域和物体边界等困难区域提升了视差估计性能，在 KITTI Stereo 2012 和 2015 以及 Scene Flow 基准上实现了最先进性能，且推理速度优于级联结构模型。

ABSTRACT

Recent convolutional neural networks, especially end-to-end disparity estimation models, achieve remarkable performance on stereo matching task. However, existed methods, even with the complicated cascade structure, may fail in the regions of non-textures, boundaries and tiny details. Focus on these problems, we propose a multi-task network EdgeStereo that is composed of a backbone disparity network and an edge sub-network. Given a binocular image pair, our model enables end-to-end prediction of both disparity map and edge map. Basically, we design a context pyramid to encode multi-scale context information in disparity branch, followed by a compact residual pyramid for cascaded refinement. To further preserve subtle details, our EdgeStereo model integrates edge cues by feature embedding and edge-aware smoothness loss regularization. Comparative results demonstrates that stereo matching and edge detection can help each other in the unified model. Furthermore, our method achieves state-of-art performance on both KITTI Stereo and Scene Flow benchmarks, which proves the effectiveness of our design.

研究动机与目标

• 为解决现有立体匹配网络在处理纹理缺失区域、物体边界和细节时的局限性。
• 通过将边缘信息作为特征监督和正则化手段，提升视差估计精度。
• 设计一种高效的单阶段架构，以紧凑的残差金字塔替代计算成本高昂的级联结构。
• 在训练过程中无需配对的真实边缘标签，即可实现视差与边缘检测的联合训练。
• 通过多任务学习展示立体匹配与边缘检测之间的相互性能提升。

提出的方法

• 采用带有相关层的孪生网络，从左右立体图像计算匹配代价体积。
• 上下文金字塔模块在多级层次上编码多尺度上下文特征，提升在病态区域的鲁棒性。
• 单阶段残差金字塔取代级联优化，通过单一解码器在多个尺度上学习视差残差。
• 将边缘特征嵌入视差分支，提供局部、低层次的监督信号。
• 通过边缘感知平滑损失对视差预测进行正则化，惩罚与预测边缘不一致的不连续性。
• 采用多阶段训练策略，实现端到端训练，且无需真实边缘标注。

实验结果

研究问题

• RQ1 联合学习立体匹配与边缘检测是否能提升在纹理缺失区域和物体边界等困难区域的性能？
• RQ2 通过特征嵌入和正则化引入边缘线索，是否能增强视差估计的准确性？
• RQ3 单阶段残差金字塔设计在准确性和推理速度方面是否优于传统的级联结构或基于 3D CNN 的优化结构？
• RQ4 即使训练过程中未使用真实边缘标签，多任务学习是否仍能提升边缘检测质量？
• RQ5 所提方法是否能在不依赖昂贵多阶段架构的前提下，实现在 KITTI 和 Scene Flow 等标准立体匹配基准上的最先进性能？

主要发现

• 在 KITTI 2012 基准（Noc 区域）上，EdgeStereo 的 3 像素误差为 1.73%，优于包括 PSMNet 和 iResNet 在内的先前方法。
• 在 KITTI 2015 上，EdgeStereo 的 D1-all 误差为 2.40%，排名顶尖，且单张图像推理时间仅 0.27 秒，速度更快。
• 与基线模型相比，该模型在纹理缺失区域和边界区域的视差误差降低了 15–20%，Kitti 和 Scene Flow 的定性对比结果验证了这一点。
• 在 BSDS500 上，边缘检测性能提升，多任务学习后 ODS F-measure 达到 0.795，超过原始 HED β（0.790）。
• 边缘感知平滑损失与边缘特征嵌入使视差图更清晰，边缘图更精确，尤其在细长结构和物体轮廓区域表现更优。
• 单阶段残差金字塔设计在准确性和推理速度方面均优于基于级联的模型（如 CRL 和 DispNetC）。