[论文解读] Deep attention-based classification network for robust depth prediction

Ruibo Li, Ke Xian+4 more|arXiv (Cornell University)|Jul 11, 2018

Advanced Vision and Imaging参考文献 22被引用 17

一句话总结

本文提出了一种深度注意力分类网络（DABC），用于在多种室内和室外场景中实现鲁棒的单图像深度预测。通过将深度预测建模为带有Softmax输出的多分类任务，并集成通道注意力机制以自适应地强调判别性特征，该方法实现了最先进性能，在ROB 2018年单图像深度预测挑战赛中获得第二名。

ABSTRACT

In this paper, we present our deep attention-based classification (DABC) network for robust single image depth prediction, in the context of the Robust Vision Challenge 2018 (ROB 2018). Unlike conventional depth prediction, our goal is to design a model that can perform well in both indoor and outdoor scenes with a single parameter set. However, robust depth prediction suffers from two challenging problems: a) How to extract more discriminative features for different scenes (compared to a single scene)? b) How to handle the large differences of depth ranges between indoor and outdoor datasets? To address these two problems, we first formulate depth prediction as a multi-class classification task and apply a softmax classifier to classify the depth label of each pixel. We then introduce a global pooling layer and a channel-wise attention mechanism to adaptively select the discriminative channels of features and to update the original features by assigning important channels with higher weights. Further, to reduce the influence of quantization errors, we employ a soft-weighted sum inference strategy for the final prediction. Experimental results on both indoor and outdoor datasets demonstrate the effectiveness of our method. It is worth mentioning that we won the 2-nd place in single image depth prediction entry of ROB 2018, in conjunction with IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018.

研究动机与目标

• 解决训练单一模型以在室内和室外场景中均实现良好泛化能力的深度预测挑战。
• 克服ScanNet（0–10 m）和KITTI（2.5–80 m）等数据集之间深度范围的巨大差异。
• 通过注意力机制学习场景特定表征，提升异质场景中的特征判别能力。
• 通过软加权求和推理策略减少深度离散化带来的量化误差。
• 开发一种无需针对不同领域重新训练即可鲁棒运行的通用RGB到深度映射。

提出的方法

• 通过将连续深度值离散化为离散区间，将深度预测建模为多分类问题。
• 采用类似U-Net的编码器-解码器架构并结合跳跃连接，以聚合多尺度特征，生成高分辨率深度图。
• 引入全局平均池化层，提取表示场景级全局上下文的通道统计特征。
• 应用通道注意力机制，学习根据特征通道对场景特定表征的重要性进行重加权。
• 集成注意力特征聚合（AFA）模块，利用学习到的注意力权重融合多尺度特征。
• 采用软加权求和推理策略，从离散分类输出重建连续深度预测，最小化量化误差。

实验结果

研究问题

• RQ1 单一深度学习模型是否能使用统一参数集在室内和室外场景中均实现鲁棒的深度预测性能？
• RQ2 模型如何在统一框架中有效提取多样化场景布局和视觉模式的判别性特征？
• RQ3 通道注意力机制在聚焦于场景特定通道方面，能在多大程度上改善特征表征？
• RQ4 深度离散化结合软加权求和推理策略，如何缓解回归任务中的量化误差？
• RQ5 在具有不同深度范围的数据集之间，基于分类的方法是否能在泛化能力和鲁棒性方面超越传统的回归方法？

主要发现

• DABC模型在ROB 2018挑战赛的单图像深度预测赛道中获得第二名，证明其在不同数据集间具有强大的泛化能力。
• 在ScanNet验证集上，基于分类的DABC模型实现了sqRel为4.34、absRel为12.67、irmse为15.93、imae为8.71，优于回归基线模型。
• 在KITTI验证集上，DABC模型实现了SILog为13.34、sqRel为1.95、absRel为8.01、irmse为9.58，性能显著优于回归基线。
• 消融实验表明，注意力机制在ScanNet上显著提升性能（无注意力时sqRel为4.93，有注意力时为4.34），同时在KITTI上保持相近结果。
• 注意力图可视化显示，高层特征表现出强烈的场景特定激活模式，证实注意力机制能够有效区分室内与室外场景。
• 混淆矩阵显示，DABC模型在深度区间内保持较低误差率，尤其在重叠范围（2.5–10 m）内，表明室内与室外数据之间的干扰显著降低。