[论文解读] CFNet: Cascade and Fused Cost Volume for Robust Stereo Matching

Zhelun Shen, Yuchao Dai+1 more|arXiv (Cornell University)|Apr 9, 2021

Advanced Vision and Imaging参考文献 25被引用 13

一句话总结

CFNet 提出了一种级联与融合的代价体积网络，以提升在多样化数据集上的立体匹配鲁棒性。通过融合低分辨率代价体积以获取全局上下文信息，并在级联结构中使用基于方差的不确定性估计来自适应地细化视差搜索空间，CFNet 在无需领域特定微调的情况下，在 KITTI、ETH3D 和 Middlebury 数据集上均实现了最先进（SOTA）的泛化性能。

ABSTRACT

Recently, the ever-increasing capacity of large-scale annotated datasets has led to profound progress in stereo matching. However, most of these successes are limited to a specific dataset and cannot generalize well to other datasets. The main difficulties lie in the large domain differences and unbalanced disparity distribution across a variety of datasets, which greatly limit the real-world applicability of current deep stereo matching models. In this paper, we propose CFNet, a Cascade and Fused cost volume based network to improve the robustness of the stereo matching network. First, we propose a fused cost volume representation to deal with the large domain difference. By fusing multiple low-resolution dense cost volumes to enlarge the receptive field, we can extract robust structural representations for initial disparity estimation. Second, we propose a cascade cost volume representation to alleviate the unbalanced disparity distribution. Specifically, we employ a variance-based uncertainty estimation to adaptively adjust the next stage disparity search space, in this way driving the network progressively prune out the space of unlikely correspondences. By iteratively narrowing down the disparity search space and improving the cost volume resolution, the disparity estimation is gradually refined in a coarse-to-fine manner. When trained on the same training images and evaluated on KITTI, ETH3D, and Middlebury datasets with the fixed model parameters and hyperparameters, our proposed method achieves the state-of-the-art overall performance and obtains the 1st place on the stereo task of Robust Vision Challenge 2020. The code will be available at https://github.com/gallenszl/CFNet.

研究动机与目标

• 解决立体匹配模型在存在显著领域差异的多样化数据集上泛化能力差的挑战。
• 克服不同数据集间视差分布不平衡的问题（例如 KITTI 与 Middlebury 的差异），以提升模型的可迁移性。
• 开发一个具有固定超参数的单一模型，使其在无需微调的情况下，能在多个真实世界数据集上表现良好。
• 提升对领域差异（例如室内与室外、合成与真实数据）以及视差范围变化的鲁棒性。
• 在粗到细、自适应精炼的框架下，实现高性能的同时保持计算效率。

提出的方法

• 通过组合多个低分辨率密集代价体积，引入一种融合的代价体积，以扩大有效感受野并捕捉全局结构特征。
• 利用融合后的代价体积生成对领域差异不敏感的鲁棒初始视差估计。
• 提出一种级联代价体积结构，其中每个阶段通过缩小搜索空间逐步精炼视差估计。
• 采用基于方差的不确定性估计，动态评估像素级别的置信度，并在每个阶段剔除可能性较低的视差候选。
• 根据不确定性评分自适应调整后续阶段的视差搜索范围，实现高效且集中的精炼。
• 在所有数据集上保持固定的模型参数与超参数，实现无需微调的零样本泛化。

实验结果

研究问题

• RQ1 一个立体匹配模型是否能使用单一固定模型在多个多样化数据集（KITTI、ETH3D、Middlebury）上实现最先进（SOTA）性能？
• RQ2 如何增强代价体积表示以提升对数据集间领域差异的鲁棒性？
• RQ3 在视差分布不平衡的数据集中，自适应的、基于不确定性的视差搜索空间精炼能在多大程度上提升性能？
• RQ4 融合与级联代价体积设计在多大程度上能减少对数据集特定微调的依赖，同时保持或提升精度？
• RQ5 在跨领域设置下，所提出方法是否比领域特定或跨领域预训练模型具有更好的泛化能力？

主要发现

• CFNet 在 2020 年 Robust Vision Challenge 立体匹配任务中排名第一，实现了在 KITTI、ETH3D 和 Middlebury 数据集上的最先进（SOTA）泛化性能。
• 在 KITTI 2015 上，CFNet 的 D1_all 错误率为 1.88%，优于基线模型 Casstereo（2.00%），且错误率比 GANet-deep 和 ACFNet 等顶尖方法降低 6%，推理速度提升 3 倍。
• 在 ETH3D 上，CFNet 取得最佳性能（第一名），显著优于领域特定模型如 GANet 和 HSMNet。
• 在 Middlebury 上，CFNet 总体排名第二，展现出在高分辨率室内场景中的强大性能，而许多模型在此类场景中表现不佳。
• CFNet 在所有三个数据集上均优于领域泛化方法 DSMnet，证明了其融合与级联代价体积设计的有效性。
• 在实时性评估中，CFNet 在 KITTI 2012 和 KITTI 2015 基准上均优于所有推理时间快于 200ms 的方法，证实了其高效性与实用性。