[论文解读] Active-Passive SimStereo -- Benchmarking the Cross-Generalization Capabilities of Deep Learning-based Stereo Methods

Laurent Valentin Jospin, Allen Antony+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了 Active-Passive SimStereo，这是一个新颖的基准和数据集，用于评估基于深度学习的立体匹配方法在被动和主动立体图像上的表现。结果表明，尽管特征提取和匹配模块在主动立体图像上泛化良好，但三种架构（ACVNet、CascadeStereo、StereoNet）由于依赖于图像外观，而受到伪随机图案的干扰，在视差细化阶段出现失败；微调可提升 ACVNet 和 CascadeStereo 的性能，但对 StereoNet 无效，后者反而产生新的伪影，表明其在处理主动图案方面存在架构上的局限性。

ABSTRACT

In stereo vision, self-similar or bland regions can make it difficult to match patches between two images. Active stereo-based methods mitigate this problem by projecting a pseudo-random pattern on the scene so that each patch of an image pair can be identified without ambiguity. However, the projected pattern significantly alters the appearance of the image. If this pattern acts as a form of adversarial noise, it could negatively impact the performance of deep learning-based methods, which are now the de-facto standard for dense stereo vision. In this paper, we propose the Active-Passive SimStereo dataset and a corresponding benchmark to evaluate the performance gap between passive and active stereo images for stereo matching algorithms. Using the proposed benchmark and an additional ablation study, we show that the feature extraction and matching modules of a selection of twenty selected deep learning-based stereo matching methods generalize to active stereo without a problem. However, the disparity refinement modules of three of the twenty architectures (ACVNet, CascadeStereo, and StereoNet) are negatively affected by the active stereo patterns due to their reliance on the appearance of the input images.

研究动机与目标

• 评估基于深度学习的立体匹配方法在被动和主动立体图像之间跨域泛化能力。
• 探究在主动立体图像使用伪随机图案以改善无纹理区域匹配的前提下，最先进深度学习立体模型是否能在未微调的情况下泛化到主动立体图像。
• 识别立体模型中阻碍其在主动立体图像上表现的架构缺陷，特别是视差细化模块。
• 提供一个公开的基准和数据集，以实现对主动立体应用中立体模型的系统性评估与微调。

提出的方法

• 作者创建了 Active-Passive SimStereo，一个使用物理基础渲染引擎生成相同场景下配对的被动和主动立体图像的合成数据集。
• 该数据集包含 100 个场景，包含为主动立体图像投影的真实感伪随机点阵图案，以及相应的真值视差图。
• 建立了基准，使用标准指标（RMSE、MAE、BAD）在被动和主动立体图像对上评估 20 种最先进端到端深度学习立体模型。
• 开展了消融研究，以隔离伪随机图案对立体匹配流程不同组件的影响，特别是视差细化模块。
• 对三种模型（ACVNet、Cascade-Stereo、StereoNet）在主动立体图像子集上进行了 10 个周期的微调，学习率较低，以评估其适应能力。
• 通过误差图的视觉分析和定量分析，诊断故障模式，特别是与主动图案相关的伪影。

实验结果

研究问题

• RQ1 在未微调的情况下，基于深度学习的立体匹配模型若在被动立体图像上进行训练，能否泛化到主动立体图像？
• RQ2 立体匹配流程中的哪些组件对伪随机主动立体图案的存在最为敏感？
• RQ3 为何某些模型（如 StereoNet）在主动立体图像上表现不佳，尽管其在被动立体图像上表现良好？
• RQ4 在主动立体图像上进行微调能否恢复那些无法泛化的模型的性能？
• RQ5 哪些架构特征使某些模型比其他模型更能抵御主动立体图案的影响？

主要发现

• 20 种最先进立体模型的特征提取和匹配模块在主动立体图像上泛化良好，未出现显著性能下降。
• ACVNet、Cascade-Stereo 和 StereoNet 三种模型在主动立体图像上表现出显著性能下降，原因是其视差细化模块对投影图案的外观敏感。
• 在主动立体图像上进行微调可显著提升 ACVNet 和 Cascade-Stereo 的性能，将 RMSE 从 4.48px 降低至 2.11px，BAD 0.5 从 64% 降低至 20%。
• 对于 StereoNet，微调略微改善了 RMSE，但 BAD 0.5 和 BAD 1 指标恶化，并引入了新的边缘伪影，表明其细化模块无法适应，可能实际上已被禁用。
• 结果表明，依赖图像外观进行细化的模型不适用于主动立体图像，而采用解耦或更灵活细化模块的模型（如 ActiveStereoNet）更具鲁棒性。
• 本研究表明，架构设计（尤其是细化阶段）对于泛化到主动立体图像至关重要，且微调虽可缓解但无法完全解决根本性的架构缺陷。