[论文解读] Bilateral Grid Learning for Stereo Matching Networks

Bin Xu, Yuhua Xu+3 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Vision and Imaging参考文献 43被引用 4

一句话总结

本文提出了一种无需参数的、保留边缘的代价体积上采样模块，基于学习的双线性网格，使实时立体匹配网络能够在低分辨率下执行3D卷积并高效上采样，从而实现高精度。该方法将现有网络（如GCNet、PSMNet和GANet）的推理速度提升了4–29倍，同时保持了优异的精度，并使BGNet（一种实时网络）在KITTI数据集上达到39 fps，性能达到当前最先进水平。

ABSTRACT

Real-time performance of stereo matching networks is important for many applications, such as automatic driving, robot navigation and augmented reality (AR). Although significant progress has been made in stereo matching networks in recent years, it is still challenging to balance real-time performance and accuracy. In this paper, we present a novel edge-preserving cost volume upsampling module based on the slicing operation in the learned bilateral grid. The slicing layer is parameter-free, which allows us to obtain a high quality cost volume of high resolution from a low-resolution cost volume under the guide of the learned guidance map efficiently. The proposed cost volume upsampling module can be seamlessly embedded into many existing stereo matching networks, such as GCNet, PSMNet, and GANet. The resulting networks are accelerated several times while maintaining comparable accuracy. Furthermore, we design a real-time network (named BGNet) based on this module, which outperforms existing published real-time deep stereo matching networks, as well as some complex networks on the KITTI stereo datasets. The code is available at https://github.com/YuhuaXu/BGNet.

研究动机与目标

• 解决立体匹配网络中实时性能与精度之间的权衡问题。
• 开发一种高效、无需参数的代价体积上采样方法，以保留边缘并维持高分辨率细节。
• 通过将高成本的3D卷积操作转移到低分辨率代价体积上，使现有立体匹配网络在不损失精度的前提下显著加速。
• 设计一种实时立体匹配网络（BGNet），使其在KITTI基准测试中优于现有的实时与复杂网络。
• 在合成数据集和真实世界数据集上评估泛化性能，证明其在不同领域中的鲁棒性。

提出的方法

• 提出一种新颖的代价体积上采样模块，利用学习的双线性网格中的切片操作，将低分辨率代价体积上采样至高分辨率。
• 利用可微分的双线性网格学习引导图，在上采样过程中保留边缘，避免在无纹理或遮挡区域产生模糊。
• 切片层无需参数，实现极低计算开销，支持快速推理。
• 将上采样模块集成到现有立体匹配网络（如GCNet、PSMNet、GANet）中，使其可在低分辨率下执行3D卷积，并高效上采样。
• 设计BGNet和BGNet+作为基于该模块的实时立体匹配网络，专为KITTI数据集的推理速度与精度进行优化。
• 在合成数据集（SceneFlow、IRS）上训练模型，以提升泛化能力，且不增加计算成本。

实验结果

研究问题

• RQ1 基于学习的双线性网格的无参数、保留边缘的上采样方法是否能在不降低精度的前提下提升立体匹配网络的效率？
• RQ2 所提出的上采样模块是否能无缝集成到现有立体匹配架构中，以在保持性能的同时加速推理？
• RQ3 能否基于该模块设计一种实时立体匹配网络，使其在KITTI基准测试中优于现有的实时与复杂网络？
• RQ4 当仅在合成数据上训练时，所提出网络的泛化性能与复杂模型相比如何？
• RQ5 在不增加推理时间的前提下，引入额外的合成数据（如IRS）在多大程度上能提升泛化能力？

主要发现

• 所提出的代价体积上采样模块使现有立体匹配网络的推理速度提升了4至29倍，同时保持了与原始版本相当的精度。
• BGNet在KITTI 2012和KITTI 2015上分别达到39 fps，优于所有已发表的实时深度立体匹配网络，也优于GCNet、AANet和FADNet等复杂网络。
• 在Middlebury 2014数据集上，当仅在SceneFlow上训练时，BGNet和BGNet+的Bad 2.0误差分别为17.5%和17.2%，优于iResNet和GANet。
• 当在额外的合成数据（IRS）上训练时，BGNet和BGNet+的Bad 2.0误差分别降低至13.5%和11.6%，证明了其强大的泛化能力，且计算成本未增加。
• 双线性网格上采样模块极为高效，在KITTI 2015上每对图像仅消耗4.3 ms，仅比全网络GPU推理中的线性上采样慢0.2 ms。
• 该模块是首个在深度立体匹配中应用可微分双线性网格操作的方法，实现了高质量、保留边缘的上采样，且无需额外参数。