[论文解读] ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems

Yinda Zhang, Sameh Khamis+8 more|arXiv (Cornell University)|Jul 16, 2018

Advanced Vision and Imaging参考文献 43被引用 9

一句话总结

ActiveStereoNet 提出了一种用于主动立体深度估计的首个端到端自监督深度学习方法，采用新型基于窗口的损失函数与自适应支持权重，并引入自监督的无效化网络以处理遮挡问题。该方法实现了亚像素精度（1/30像素），保持了锐利的边缘，最小化了过度平滑现象，并对光照变化和无纹理区域具有鲁棒性，在真实世界与合成基准测试中均优于先前方法。

ABSTRACT

In this paper we present ActiveStereoNet, the first deep learning solution for active stereo systems. Due to the lack of ground truth, our method is fully self-supervised, yet it produces precise depth with a subpixel precision of $1/30th$ of a pixel; it does not suffer from the common over-smoothing issues; it preserves the edges; and it explicitly handles occlusions. We introduce a novel reconstruction loss that is more robust to noise and texture-less patches, and is invariant to illumination changes. The proposed loss is optimized using a window-based cost aggregation with an adaptive support weight scheme. This cost aggregation is edge-preserving and smooths the loss function, which is key to allow the network to reach compelling results. Finally we show how the task of predicting invalid regions, such as occlusions, can be trained end-to-end without ground-truth. This component is crucial to reduce blur and particularly improves predictions along depth discontinuities. Extensive quantitatively and qualitatively evaluations on real and synthetic data demonstrate state of the art results in many challenging scenes.

研究动机与目标

• 解决主动立体系统缺乏大规模真实深度数据的问题。
• 开发一种无需监督的自监督深度学习框架，实现高精度深度估计。
• 在主动立体深度估计中保留精细细节与边缘，同时最小化过度平滑并有效处理遮挡。
• 提升对主动立体成像中光照变化与高频图案伪影的鲁棒性。
• 实现端到端训练深度预测与遮挡检测，无需真实标注。

提出的方法

• 提出一种基于窗口的重建损失函数，结合自适应支持权重（ASW），用于聚合代价体积并提升可区分性。
• 引入一种局部对比度归一化（LCN）损失，可去除低频分量，并适应随距离增加而衰减的图案变化。
• 采用孪生网络结构提取LCN损失所需的特征，增强对光照与纹理变化的鲁棒性。
• 设计一种自监督的无效化网络，用于预测遮挡区域，并在损失计算中排除这些区域。
• 将无效化网络生成的置信度图作为副产品，支持需要遮挡推理的高层应用。
• 通过可微分的基于窗口的代价聚合方法，实现整个网络的端到端优化，减少局部极小值与边缘展宽现象。

实验结果

研究问题

• RQ1 自监督深度学习方法是否能在无真实标注监督的情况下实现主动立体中的亚像素级深度估计？
• RQ2 如何设计一种对主动立体中光照变化与高频图案伪影具有鲁棒性的损失函数？
• RQ3 能否在无需真实无效区域标签的情况下，端到端地学习遮挡处理？
• RQ4 基于窗口的代价聚合中采用自适应支持权重是否能提升边缘保持能力与细结构恢复能力？
• RQ5 无效化网络能否生成可靠的置信度图用于深度估计？其性能与传统方法（如左右一致性检查）相比如何？

主要发现

• ActiveStereoNet 实现了1/30像素的亚像素精度，显著优于先前的主动立体方法。
• 所提出的基于窗口的损失函数结合自适应支持权重（ASW）有效减少了边缘展宽，并比单像素或非自适应方法更准确地恢复细结构。
• 基于LCN的重建损失有效降低了噪声，并在无显式光度训练的情况下提升了无纹理与低对比度区域的性能。
• 无效化网络在遮挡检测任务上平均精度达到80.7%，优于左右一致性检查（80.9%）与光度误差方法（51.3%）。
• 该模型生成了完整且无明显飞点的深度图，且在深度不连续区域无过度平滑现象。
• 模型在Titan X上每帧运行速度为15 ms，证明了其在实际部署中的实时可行性。