[论文解读] Boosting Light-Weight Depth Estimation Via Knowledge Distillation

Junjie Hu, Chenyou Fan+5 more|arXiv (Cornell University)|May 13, 2021

Advanced Vision and Imaging参考文献 47被引用 9

一句话总结

该论文提出了一种仅含170万参数的轻量化单目深度估计网络，通过知识蒸馏（KD）并结合辅助无标签数据，实现了最先进（SOTA）的精度。通过使用来自相似场景分布的无标签辅助数据，训练一个紧凑的学生网络以模仿大型教师网络，该方法在保持极低计算开销的同时显著提升了性能，优于以往的轻量化模型，并仅用其1%的参数量就达到了更大模型的精度水平。

ABSTRACT

Monocular depth estimation (MDE) methods are often either too computationally expensive or not accurate enough due to the trade-off between model complexity and inference performance. In this paper, we propose a lightweight network that can accurately estimate depth maps using minimal computing resources. We achieve this by designing a compact model architecture that maximally reduces model complexity. To improve the performance of our lightweight network, we adopt knowledge distillation (KD) techniques. We consider a large network as an expert teacher that accurately estimates depth maps on the target domain. The student, which is the lightweight network, is then trained to mimic the teacher's predictions. However, this KD process can be challenging and insufficient due to the large model capacity gap between the teacher and the student. To address this, we propose to use auxiliary unlabeled data to guide KD, enabling the student to better learn from the teacher's predictions. This approach helps fill the gap between the teacher and the student, resulting in improved data-driven learning. Our extensive experiments show that our method achieves comparable performance to state-of-the-art methods while using only 1% of their parameters. Furthermore, our method outperforms previous lightweight methods regarding inference accuracy, computational efficiency, and generalizability.

研究动机与目标

• 解决单目深度估计（MDE）中推理精度与计算效率之间的权衡问题。
• 设计一种高度紧凑的神经网络架构，以最小化模型复杂度而不损失深度估计精度。
• 通过利用来自相似场景分布的辅助数据增强知识蒸馏（KD），提升轻量化模型的性能。
• 在SUNRGBD和TUM等跨数据集基准上评估所提方法的泛化能力。

提出的方法

• 基于MobileNet-v2设计轻量化学生网络，通过特征图压缩与拼接，将参数量减少至170万。
• 应用知识蒸馏，由一个预训练的大规模教师网络为学生网络提供监督信号。
• 利用来自相似领域（如NYU-v2和ScanNet）的辅助无标签数据增强KD，提升数据驱动学习效果与性能。
• 学生网络在原始有标签数据和辅助无标签数据上联合训练，教师网络的预测结果指导蒸馏过程。
• 对于有标签的辅助数据，先在原始数据集与辅助有标签数据集的合并数据上对教师网络进行微调，再应用KD。
• 利用不同领域间深度分布的相似性（如长尾深度直方图），提升泛化能力与蒸馏效率。

实验结果

研究问题

• RQ1 结合辅助无标签数据的知识蒸馏能否显著提升轻量化深度估计网络的性能？
• RQ2 使用来自相似领域的辅助数据如何影响学生网络在单目深度估计中的泛化能力与精度？
• RQ3 辅助样本数量对知识蒸馏性能有何影响？是否存在收益递减现象？
• RQ4 参数量仅为最先进模型1%的学生网络能否实现相当或更优的精度？
• RQ5 所提方法在SUNRGBD和TUM等不同数据集上是否具备良好的泛化能力，且无需微调？

主要发现

• 在SUNRGBD数据集上，该方法的RMSE为0.577，REL为0.338，两项指标均优于Fast-depth与Joint-depth。
• 在TUM数据集上，使用辅助无标签数据时，该方法的平均δ₁精度达到0.530，超过Fast-depth（0.369）与Joint-depth（0.494）。
• 当使用辅助有标签数据时，该方法在TUM数据集上的平均δ₁精度达到0.781，显著优于其他方法。
• 知识蒸馏性能随辅助样本数量增加而提升，但当样本数超过15.3万后出现收益递减现象。
• 该模型在不同数据集间泛化能力出色，在SUNRGBD上取得最低RMSE与REL，在TUM上取得最高δ₁精度，展现出强大的鲁棒性与可迁移性。
• 该方法仅用170万参数（约为先前SOTA模型参数量的1%）即实现最先进性能，同时保持了极高的推理效率。