[论文解读] End-to-End Training of Hybrid CNN-CRF Models for Stereo

Patrick Knöbelreiter, Christian Reinbacher+2 more|TUGraz OPEN Library (Graz University of Technology)|Nov 30, 2016

Advanced Vision and Imaging参考文献 37被引用 6

一句话总结

本文提出一种端到端可训练的混合CNN-CRF模型用于立体匹配，通过结构化SVM框架联合学习一元和成对代价。通过用深度特征替代手工设计组件，并采用快速的对偶块下降推理方法，该模型在Middlebury 2014和Kitti 2015基准上实现了具有竞争力的性能，且无需后处理，展示了浅层网络在泛化能力和边界精度上的改进。

ABSTRACT

We propose a novel and principled hybrid CNN+CRF model for stereo estimation. Our model allows to exploit the advantages of both, convolutional neural networks (CNNs) and conditional random fields (CRFs) in an unified approach. The CNNs compute expressive features for matching and distinctive color edges, which in turn are used to compute the unary and binary costs of the CRF. For inference, we apply a recently proposed highly parallel dual block descent algorithm which only needs a small fixed number of iterations to compute a high-quality approximate minimizer. As the main contribution of the paper, we propose a theoretically sound method based on the structured output support vector machine (SSVM) to train the hybrid CNN+CRF model on large-scale data end-to-end. Our trained models perform very well despite the fact that we are using shallow CNNs and do not apply any kind of post-processing to the final output of the CRF. We evaluate our combined models on challenging stereo benchmarks such as Middlebury 2014 and Kitti 2015 and also investigate the performance of each individual component.

研究动机与目标

• 开发一种统一的、端到端可训练的混合CNN-CRF模型用于立体匹配，将深度特征与结构化CRF推理相结合。
• 通过直接从数据中学习鲁棒的一元和成对代价，消除对后处理启发式方法的依赖。
• 通过使用结构化输出学习联合训练CNN组件和CRF参数，提升泛化能力和可解释性。
• 证明设计良好的CRF结合学习到的代价可超越需要大量后处理的复杂深度网络。
• 表明浅层CNN与CRF结合可在参数更少、过拟合更少的情况下实现具有竞争力的性能。

提出的方法

• 一元-CNN从左右立体图像中提取局部特征，通过相关层比较，形成用于CRF中一元势的匹配代价体积。
• 成对-CNN学习对比敏感的边缘权重用于CRF，替代传统手工设计的正则化项，实现基于图像内容的自适应平滑。
• CRF使用4连通网格结构建模空间依赖性，并联合优化图像中所有视差标签。
• 推理采用快速、高度并行的对偶块下降算法，仅需少数迭代即可实现接近实时的性能。
• 通过结构化输出支持向量机（SSVM）进行端到端训练，利用次梯度近似实现对不可微的CRF推理过程的反向传播。
• 模型在完整图像上进行训练，而非裁剪的图像块，从而可直接优化完整场景的推理性能。

实验结果

研究问题

• RQ1 混合CNN-CRF模型能否以端到端可微的方式联合学习立体匹配中的一元和成对代价？
• RQ2 与基于图像块的训练或最大似然方法相比，采用结构化SVM训练是否能提升泛化能力和性能？
• RQ3 浅层CNN-CRF模型能否在无需后处理（如亚像素细化或遮挡处理）的情况下实现具有竞争力的结果？
• RQ4 与传统对比敏感正则化项相比，由CNN学习到的成对代价在边界精度和鲁棒性方面表现如何？
• RQ5 在使用浅层网络时，CRF组件在多大程度上减少过拟合并提升泛化能力？

主要发现

• 所提出的模型在Middlebury 2014基准中，作为基于CNN的方法，实现了最低的均方根（RMS）误差，RMS为6.01，尽管仅使用了7层CNN。
• 在Kitti 2015基准上，模型实现了2.93的bad3误差，表明在具有挑战性的真实场景中表现强劲。
• 定性比较显示，该模型能产生高度精确的物体边界分割，上半部分图像区域中竞争方法存在过拟合导致的渗色现象极少。
• 由于缺乏后处理，其bad2误差略高于SOTA方法，但此现象归因于微小的离散化伪影，而非显著误差。
• CRF层显著减少了过拟合，使浅层CNN（3–7层）也能实现优异性能，表明具有更好的数据效率和泛化能力。
• 该模型对遮挡和光照变化具有鲁棒性，即使未显式建模遮挡，也表明学习到的CRF正则化器隐式捕捉了几何先验。