[论文解读] FADNet: A Fast and Accurate Network for Disparity Estimation

Qiang Wang, Shaohuai Shi+3 more|arXiv (Cornell University)|Mar 24, 2020

Advanced Vision and Imaging参考文献 25被引用 12

一句话总结

FADNet 是一种快速且准确的深度学习框架，用于立体匹配视差估计，通过结合二维相关层、残差块和多尺度监督，实现了最先进的精度，同时推理速度比基于 3D 卷积的模型（如 PSMNet）快 20 倍，GPU 显存使用量减少 10 倍。该方法可在资源受限设备上实现实时部署，且不损失性能。

ABSTRACT

Deep neural networks (DNNs) have achieved great success in the area of computer vision. The disparity estimation problem tends to be addressed by DNNs which achieve much better prediction accuracy in stereo matching than traditional hand-crafted feature based methods. On one hand, however, the designed DNNs require significant memory and computation resources to accurately predict the disparity, especially for those 3D convolution based networks, which makes it difficult for deployment in real-time applications. On the other hand, existing computation-efficient networks lack expression capability in large-scale datasets so that they cannot make an accurate prediction in many scenarios. To this end, we propose an efficient and accurate deep network for disparity estimation named FADNet with three main features: 1) It exploits efficient 2D based correlation layers with stacked blocks to preserve fast computation; 2) It combines the residual structures to make the deeper model easier to learn; 3) It contains multi-scale predictions so as to exploit a multi-scale weight scheduling training technique to improve the accuracy. We conduct experiments to demonstrate the effectiveness of FADNet on two popular datasets, Scene Flow and KITTI 2015. Experimental results show that FADNet achieves state-of-the-art prediction accuracy, and runs at a significant order of magnitude faster speed than existing 3D models. The codes of FADNet are available at https://github.com/HKBU-HPML/FADNet.

研究动机与目标

• 解决深度立体匹配网络中精度与推理效率之间的权衡问题。
• 开发一种在复杂场景（如无纹理或重复区域）下保持高精度，同时支持实时部署的模型。
• 在不牺牲预测质量的前提下，克服基于 3D 卷积的网络（如 PSMNet、GANet）带来的高显存和高计算需求。
• 通过最小化 GPU 显存使用量和推理时间，实现模型在边缘设备上的实用化部署。

提出的方法

• FADNet 采用堆叠的基于 2D 的相关层，在保持快速计算的同时捕捉跨视图的特征关系。
• 通过引入残差块稳定训练过程，并支持更深的网络结构以提升特征学习能力。
• 网络采用多尺度预测与多尺度权重调度训练技术，以增强特征表示能力和收敛性。
• 采用逐点相关操作替代 3D 卷积，显著降低 FLOPs 和显存消耗。
• 架构设计为编码器-解码器结构，仅使用 2D 卷积，避免昂贵的 3D 操作，同时保持高精度。
• 通过调度式多尺度监督进行训练优化，提升泛化能力并减少对细节的误差。

实验结果

研究问题

• RQ1 基于 2D 的网络是否能在显著优于基于 3D 的模型的推理速度和显存效率下，实现最先进的视差估计精度？
• RQ2 结合权重调度的多尺度监督在提升基于 2D 的视差估计网络精度方面有多有效？
• RQ3 残差学习与高效相关层是否能协同作用，实现更深、更准确的模型，同时不增加计算成本？
• RQ4 基于 2D 的网络在具有挑战性的现实场景中，能否在性能上匹配或超越 PSMNet 和 GANet 等基于 3D 卷积的模型？
• RQ5 仅使用 2D 卷积和高效设计，是否可行将高精度视差估计模型部署在低显存边缘设备上？

主要发现

• 在 Scene Flow 数据集上，FADNet 达到了最先进的精度，端到端（EPE）误差为 0.464，与 PSMNet（0.452）和 GANet（0.442）相当，但在 NVIDIA Tesla V100 GPU 上推理速度分别比 GANet 快 46 倍，比 PSMNet 快 8 倍。
• 在 KITTI 2015 数据集上，FADNet 的 D1-all 异常率低至 2.82%，比 DispNetC（4.34%）高出超过 2 倍的精度，且效率更高。
• FADNet 在 Tesla V100 GPU 上每对立体图像的推理时间为 18.7 ms，仅消耗 1.62 GB GPU 显存——比 PSMNet（13.99 GB）低 10 倍，也低于 Titan X（Pascal）GPU 上 FADNet 的 3.87 GB。
• 该模型可部署在具有 12 GB 显存的桌面 GPU（如 Titan X）上，而基于 3D 的模型（如 PSMNet 和 GANet）因显存限制而无法运行。
• 视觉对比显示，FADNet 在保留细纹理和细节方面优于 DispNetC，且与 PSMNet 几乎相当，同时误差图显著更低。
• FADNet 的推理速度比 PSMNet 快 20 倍，比 GANet 快 46 倍，使其适用于机器人和自动驾驶等实时应用。