[论文解读] EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection

Xiao Song, Xu Zhao+2 more|arXiv (Cornell University)|Mar 5, 2019

Advanced Vision and Imaging参考文献 61被引用 13

一句话总结

EdgeStereo 提出了一种统一的多任务学习网络，通过共享主干网络与专用分支，联合预测视差图和边缘图。通过引入边缘感知平滑损失和边缘特征嵌入，该模型在无纹理区域、遮挡区域和边界区域提升了视差估计性能，在 FlyingThings3D、KITTI 2012 和 KITTI 2015 基准测试中达到最先进水平，尤其在反光区域和无边缘区域表现出显著改进。

ABSTRACT

Recently, leveraging on the development of end-to-end convolutional neural networks (CNNs), deep stereo matching networks have achieved remarkable performance far exceeding traditional approaches. However, state-of-the-art stereo frameworks still have difficulties at finding correct correspondences in texture-less regions, detailed structures, small objects and near boundaries, which could be alleviated by geometric clues such as edge contours and corresponding constraints. To improve the quality of disparity estimates in these challenging areas, we propose an effective multi-task learning network, EdgeStereo, composed of a disparity estimation branch and an edge detection branch, which enables end-to-end predictions of both disparity map and edge map. To effectively incorporate edge cues, we propose the edge-aware smoothness loss and edge feature embedding for inter-task interactions. It is demonstrated that based on our unified model, edge detection task and stereo matching task can promote each other. In addition, we design a compact module called residual pyramid to replace the commonly-used multi-stage cascaded structures or 3-D convolution based regularization modules in current stereo matching networks. By the time of the paper submission, EdgeStereo achieves state-of-art performance on the FlyingThings3D dataset, KITTI 2012 and KITTI 2015 stereo benchmarks, outperforming other published stereo matching methods by a noteworthy margin. EdgeStereo also achieves comparable generalization performance for disparity estimation because of the incorporation of edge cues.

研究动机与目标

• 解决在无纹理区域、边界附近及小物体区域中视差估计不准确的长期挑战。
• 通过引入边缘检测的几何线索，提升立体匹配网络的泛化能力和鲁棒性。
• 通过端到端的多任务学习，实现立体匹配与边缘检测之间的相互提升。
• 用紧凑的残差金字塔模块替代传统的级联或三维卷积正则化模块，实现高效的特征精炼。
• 证明即使在训练过程中没有真实边缘标注，边缘监督也能提升视差估计性能。

提出的方法

• 设计一个双分支网络，其中视差估计分支与边缘检测分支共享一个编码器主干网络。
• 提出边缘感知平滑损失，惩罚与预测边缘图不一致的视差不连续性，实现跨任务优化。
• 提出边缘特征嵌入方法，将边缘信息融合至视差估计分支，增强边界处的特征表示。
• 用残差金字塔模块替代标准的级联或三维卷积正则化模块，通过聚合多尺度特征实现代价体积与特征精炼。
• 通过联合损失函数端到端训练模型，结合立体匹配与边缘检测目标，并在两个分支间实现梯度流动。
• 利用合成数据（FlyingThings3D）和真实世界数据（Cityscapes）进行预训练，以提升在多样化场景（包括无边缘的室内环境）下的泛化能力。

实验结果

研究问题

• RQ1 联合学习立体匹配与边缘检测是否能提升在无纹理区域和边界区域的视差估计性能？
• RQ2 如何有效将边缘线索整合到视差估计流程中，以增强平滑性与一致性？
• RQ3 即使在训练过程中未提供边缘标注，多任务训练是否仍能提升边缘检测性能？
• RQ4 紧凑的残差金字塔模块能否在保持或提升性能的同时替代复杂的级联或三维卷积模块？
• RQ5 立体匹配与边缘检测之间的相互监督在多大程度上提升了在多样化数据集上的泛化能力？

主要发现

• EdgeStereo 在 FlyingThings3D 基准测试中达到最先进性能，将误差率降低至 3.96%（终点误差）和 0.74（平均绝对误差）。
• 在 KITTI 2012 测试集上，EdgeStereo 将 3 像素误差降低至 1.46%，显著优于先前方法。
• 在 KITTI 2012 反光区域评估中，EdgeStereo 以 3 像素误差 5.84% 的成绩位列官方排行榜第一。
• 在具有挑战性的无边缘 Middlebury 测试集上，EdgeStereo 实现 3 像素误差 2.252%，即使训练中无边缘标注，也展现出强大的泛化能力。
• 由于跨任务监督，该模型在无真实边缘标签的情况下仍提升了边缘检测质量。
• 残差金字塔模块能有效替代级联或三维卷积模块，实现复杂度更低、精度更高的特征精炼。