[论文解读] Deep Stereo Matching with Explicit Cost Aggregation Sub-Architecture

Lidong Yu, Yucheng Wang+2 more|arXiv (Cornell University)|Jan 12, 2018

Advanced Vision and Imaging参考文献 21被引用 21

一句话总结

本文提出了一种基于学习的深度立体匹配成本聚合子架构，采用双流神经网络显式生成并选择成本聚合提案。通过将低层次结构信息作为全局引导，该方法在KITTI和Scene Flow基准上提升了精度，其在KITTI2015上的误差为2.17%，在KITTI2012上的误差为2.68%，优于当前最先进方法。

ABSTRACT

Deep neural networks have shown excellent performance for stereo matching. Many efforts focus on the feature extraction and similarity measurement of the matching cost computation step while less attention is paid on cost aggregation which is crucial for stereo matching. In this paper, we present a learning-based cost aggregation method for stereo matching by a novel sub-architecture in the end-to-end trainable pipeline. We reformulate the cost aggregation as a learning process of the generation and selection of cost aggregation proposals which indicate the possible cost aggregation results. The cost aggregation sub-architecture is realized by a two-stream network: one for the generation of cost aggregation proposals, the other for the selection of the proposals. The criterion for the selection is determined by the low-level structure information obtained from a light convolutional network. The two-stream network offers a global view guidance for the cost aggregation to rectify the mismatching value stemming from the limited view of the matching cost computation. The comprehensive experiments on challenge datasets such as KITTI and Scene Flow show that our method outperforms the state-of-the-art methods.

研究动机与目标

• 解决传统手工设计的成本聚合方法在立体匹配中的局限性，这些方法缺乏全局上下文信息，且在无纹理区域和遮挡区域表现不佳。
• 通过将成本聚合显式建模为可学习的提案生成与选择过程，提升视差估计的准确性。
• 利用轻量级卷积网络提取的低层次结构特征，将全局视图引导信息整合到成本聚合中。
• 通过将成本聚合嵌入为可训练的子架构，实现立体匹配流水线的端到端训练。
• 在保持局部匹配质量（来自成本体）与全局上下文信息（来自结构引导）之间取得平衡，以减少成本体中的误匹配错误。

提出的方法

• 将成本聚合重新构型为两阶段学习过程：提案生成与提案选择。
• 使用提案流通过跨空间和深度维度的3D卷积操作，生成候选聚合成本体。
• 采用引导流，利用轻量级卷积网络从参考图像中提取低层次结构特征，提供全局上下文信息。
• 应用胜者为王策略，基于引导特征图计算的评估分数，选择最优提案。
• 将该子架构集成到可端到端训练的立体匹配流水线中，实现特征提取、成本计算与聚合的联合优化。
• 在聚合后使用soft-argmin进行视差图回归，确保可微性与平滑性。

实验结果

研究问题

• RQ1 可学习的成本聚合机制是否能够超越传统手工设计的聚合方法，在立体匹配精度上实现进一步提升？
• RQ2 低层次结构信息在多大程度上可作为全局视图引导，有效纠正成本体中的局部错误？
• RQ3 用于提案生成与选择的双流架构是否在无纹理和遮挡区域优于传统聚合方法？
• RQ4 成本聚合子架构的端到端训练在多大程度上提升了整体立体匹配性能？
• RQ5 所提出方法是否能在合成数据集（如Scene Flow）和真实世界数据集（如KITTI）等多样化基准上实现良好泛化？

主要发现

• 在KITTI2015基准上，该方法实现了2.17%的D1-all误差，优于GC-Net（2.38%）、MC-CNN（3.89%）及其他最先进方法。
• 在KITTI2012上，该方法实现了2.68%的D1-all误差，精度超过GC-Net（3.00%）和MC-CNN（3.90%）。
• 在Scene Flow数据集上，该方法实现了2.23的RMS误差和2.68的D1-all误差，优于GC-Net及其他基线方法。
• 消融实验证实引导流至关重要：移除后性能显著下降，验证了其作为有效全局视图引导的作用。
• 引导流的可视化结果表明，其成功捕捉了低层次结构信息，且该信息与正确的视差估计密切相关。
• 该方法在KITTI上每张图像的推理速度为1.13秒，展现出精度与推理速度之间的良好权衡。