[论文解读] From Big to Small: Multi-Scale Local Planar Guidance for Monocular Depth Estimation

Jin Han Lee, Myung Kyu Han+2 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Vision and Imaging参考文献 49被引用 483

一句话总结

本文引入在多个解码阶段放置的多尺度局部平面引导（LPG）层，以引导稠密特征图达到全分辨率深度，在 NYU Depth V2 和 KITTI 上实现了单目深度估计的最新方法。它还提供了广泛的消融研究以验证 LPG 的有效性。

ABSTRACT

Estimating accurate depth from a single image is challenging because it is an ill-posed problem as infinitely many 3D scenes can be projected to the same 2D scene. However, recent works based on deep convolutional neural networks show great progress with plausible results. The convolutional neural networks are generally composed of two parts: an encoder for dense feature extraction and a decoder for predicting the desired depth. In the encoder-decoder schemes, repeated strided convolution and spatial pooling layers lower the spatial resolution of transitional outputs, and several techniques such as skip connections or multi-layer deconvolutional networks are adopted to recover the original resolution for effective dense prediction. In this paper, for more effective guidance of densely encoded features to the desired depth prediction, we propose a network architecture that utilizes novel local planar guidance layers located at multiple stages in the decoding phase. We show that the proposed method outperforms the state-of-the-art works with significant margin evaluating on challenging benchmarks. We also provide results from an ablation study to validate the effectiveness of the proposed method.

研究动机与目标

• 将准确的单目深度估计作为一个病态问题进行动机说明，并利用全局与局部线索。
• 在多个解码阶段引入 LPG 层以提供明确的几何引导。
• 展示基于 LPG 的引导在室内外基准上的深度精度提升。
• 通过评估不同骨干编码器（ResNet、DenseNet 等）来展示鲁棒性和泛化能力。
• 提供消融分析以验证 LPG 的贡献和训练损失设计。

提出的方法

• 使用带有稠密特征提取器的编码器–解码器骨架（backbone）。
• 在主干之后插入一个上下文提取器（ASPP，膨胀率）。
• 在解码阶段嵌入局部平面引导（LPG）层，分辨率为 H/8、H/4、H/2，以生成每个 k×k 补丁的 4D 平面系数。
• 通过光线-平面相交将平面系数转换为局部深度线索，从而获得每个补丁的深度引导。
• 将来自多个尺度的 LPG 输出与 1×1 降维特征拼接，并通过最后的卷积层预测最终深度。
• 使用基于对数深度误差的尺度感知损失（SiLog 变体）和最终损失 L = alpha * sqrt(D(g)) 进行训练。
• 在多种骨干网络（ResNet-101/ResNext-101/DenseNet-161）和数据集（NYU Depth V2、KITTI）上进行实验以证明有效性。

实验结果

研究问题

• RQ1 将多尺度 LPG 层整合是否相较于强基线提升单目深度估计？
• RQ2 不同解码阶段的 LPG 层如何对最终深度质量产生影响？
• RQ3 不同骨干编码器对带有 LPG 的网络性能有何影响？
• RQ4 所提出的损失形式如何影响训练收敛性与精度？
• RQ5 在室内（NYU）和室外（KITTI）数据集上，增益是否具有一致性？

主要发现

• 配备 LPG 的网络在 NYU Depth V2 和 KITTI 基准上实现了最先进的结果，在大多数指标上超过了之前的方法。
• 消融表明 LPG 层在核心组件中提供了最显著的性能提升。
• DenseNet-161 作为骨干在 NYU 上取得了最佳结果，而 ResNext-101 在 KITTI 上可能最强，体现数据集相关优势。
• 该方法在评估分割的内点指标（例如 delta 阈值）和深度精度指标上取得显著提升。
• 即使使用轻量级骨干（如 MobileNetV2），该方法也保持竞争力并带来显著的参数高效提升。
• 定性结果显示相较于竞争方法，边界更清晰，局部细节保留更好。