[论文解读] ES-Net: An Efficient Stereo Matching Network

Zhengyu Huang, Theodore B. Norris+1 more|arXiv (Cornell University)|Mar 5, 2021

Advanced Vision and Imaging参考文献 45被引用 9

一句话总结

ES-Net 是一种轻量级立体匹配网络，通过使用二维卷积和基于图像扭曲的方法，高效计算多尺度代价体积，从而在保持高推理速度的同时实现最先进（SOTA）的精度。它进一步通过 ESNet-M 的遮挡感知训练以及一种新颖的无监督预训练与数据集调度策略，提升了性能，在 Scene Flow、DrivingStereo 和 KITTI-2015 基准测试中超越了以往高效的立体匹配方法。

ABSTRACT

Dense stereo matching with deep neural networks is of great interest to the research community. Existing stereo matching networks typically use slow and computationally expensive 3D convolutions to improve the performance, which is not friendly to real-world applications such as autonomous driving. In this paper, we propose the Efficient Stereo Network (ESNet), which achieves high performance and efficient inference at the same time. ESNet relies only on 2D convolution and computes multi-scale cost volume efficiently using a warping-based method to improve the performance in regions with fine-details. In addition, we address the matching ambiguity issue in the occluded region by proposing ESNet-M, a variant of ESNet that additionally estimates an occlusion mask without supervision. We further improve the network performance by proposing a new training scheme that includes dataset scheduling and unsupervised pre-training. Compared with other low-cost dense stereo depth estimation methods, our proposed approach achieves state-of-the-art performance on the Scene Flow [1], DrivingStereo [2], and KITTI-2015 dataset [3]. Our code will be made available.

研究动机与目标

• 开发一种立体匹配网络，实现实时应用（如自动驾驶）中高精度与低计算成本的平衡。
• 通过基于图像扭曲的方法高效计算多尺度代价体积，缓解细粒度区域的性能下降问题。
• 通过在 ESNet-M 中引入无监督遮挡掩码预测模块，减少遮挡区域的匹配模糊性。
• 通过结合无监督预训练与数据集调度的新训练方案，在不增加推理时间的前提下提升泛化能力与收敛速度。
• 在多个基准数据集上建立低计算成本密集立体深度估计的新最先进水平。

提出的方法

• ES-Net 仅使用二维卷积和基于图像扭曲的机制，高效计算多尺度代价体积，避免使用昂贵的三维卷积。
• 多尺度特征匹配模块通过特征扭曲在不同尺度上计算代价体积，提升细粒度区域的精度。
• ESNet-M 在 ES-Net 的基础上，通过端到端联合预测视差和遮挡掩码（无监督），增强了在模糊区域的鲁棒性。
• 采用数据集调度策略：模型首先在合成数据（Scene Flow）上进行预训练，随后在真实数据集（DrivingStereo、KITTI）上微调。
• 在 Scene Flow 上进行无监督预训练，以提升特征表示能力和泛化能力，再在下游数据集上进行微调。
• 训练流程采用多轮学习率衰减策略，并结合调度的数据集混合，以增强模型收敛性和性能。

实验结果

研究问题

• RQ1 仅使用二维卷积的立体匹配网络能否在保持高推理速度的同时实现最先进精度？
• RQ2 基于图像扭曲的方法在多尺度代价体积计算中，对提升细粒度区域精度的效果如何？
• RQ3 无监督遮挡掩码预测能否改善模糊遮挡区域的视差估计？
• RQ4 无监督预训练与数据集调度在不增加推理时间的前提下，能在多大程度上提升性能？
• RQ5 与标准训练相比，所提出的训练方案在多样化数据集上的精度与泛化能力表现如何？

主要发现

• 在 KITTI-2015 基准上，ESNet-M 实现 2.42% 的 D1-all 错误率，相比 FADNet 提升 14% 的精度，且快 5%。
• ESNet-M 的推理速度是 iResNet-i2 的 2 倍，PSMNet 的 11 倍，同时达到相近的精度，展现出更优的速度-精度权衡。
• 在 Scene Flow 上，ESNet-M 实现 1.81% 的 D1-all 错误率，与 GA-Net 性能相当，但推理速度提升 64 倍；在精度上优于 DeepPruner-Fast，且速度提升 4 倍。
• 所提出的无监督预训练与数据集调度策略显著提升了模型精度，且未增加推理时间。
• 定性结果表明，ESNet-M 生成的视差图质量更高，能更好保留细粒度细节，并准确预测遮挡掩码。
• ESNet 在 KITTI-2015 上实现 2.60% 的 D1-all 错误率，在 Scene Flow 上同样为 2.60%，展现出在合成与真实世界数据集之间强大的泛化能力。