[论文解读] Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution

Baoli Sun, Xinchen Ye+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Vision and Imaging参考文献 49被引用 9

一句话总结

本文提出了一种跨任务知识蒸馏框架，在训练过程中从RGB图像中学习场景结构引导，从而在推理阶段无需配对的RGB-D数据即可实现单目深度超分辨率（DSR）。通过联合训练DSR网络与辅助深度估计网络，采用双向知识迁移和结构预测任务，该方法在极低推理开销下实现了最先进性能，精度与速度均优于现有方法。

ABSTRACT

Existing color-guided depth super-resolution (DSR) approaches require paired RGB-D data as training samples where the RGB image is used as structural guidance to recover the degraded depth map due to their geometrical similarity. However, the paired data may be limited or expensive to be collected in actual testing environment. Therefore, we explore for the first time to learn the cross-modality knowledge at training stage, where both RGB and depth modalities are available, but test on the target dataset, where only single depth modality exists. Our key idea is to distill the knowledge of scene structural guidance from RGB modality to the single DSR task without changing its network architecture. Specifically, we construct an auxiliary depth estimation (DE) task that takes an RGB image as input to estimate a depth map, and train both DSR task and DE task collaboratively to boost the performance of DSR. Upon this, a cross-task interaction module is proposed to realize bilateral cross task knowledge transfer. First, we design a cross-task distillation scheme that encourages DSR and DE networks to learn from each other in a teacher-student role-exchanging fashion. Then, we advance a structure prediction (SP) task that provides extra structure regularization to help both DSR and DE networks learn more informative structure representations for depth recovery. Extensive experiments demonstrate that our scheme achieves superior performance in comparison with other DSR methods.

研究动机与目标

• 为了解决现有彩色引导DSR方法在推理阶段需要配对RGB-D数据的局限性，而此类数据在实际应用中往往不可用。
• 在推理时仅使用单目深度输入，实现有效的场景结构引导，尽管训练阶段同时使用了RGB与深度模态。
• 通过与辅助深度估计网络协同训练，实现从RGB到深度的跨模态知识迁移，从而提升DSR性能。
• 通过避免在推理阶段处理高分辨率RGB图像，降低计算成本与推理时间，同时保持高精度。

提出的方法

• 引入一个辅助深度估计（DE）任务，从RGB图像中预测深度图，从而在训练期间实现跨任务知识迁移。
• 设计一种跨任务蒸馏方案，使DSR与DE网络以角色互换的方式作为教师与学生，提升特征表示能力。
• 提出一种结构预测（SP）任务，为深度图恢复提供额外的结构正则化。
• 采用基于不确定性的注意力融合模块，动态加权DSR与DE网络的特征，提升边界与结构细节的感知能力。
• 采用多任务损失的协同训练策略：包括来自真实深度的监督损失、输出空间与关联空间的蒸馏损失，以及结构预测损失。
• 保持原始DSR网络架构，使其可在仅输入单目深度时无需架构修改即可部署。

Figure 1: Color-guided DSR paradigms. (a) Joint filtering, (b) Multi-scale feature aggregation, (c) Our cross-task interaction mechanism to distill knowledge from RGB image to DSR task without changing its network architecture.

实验结果

研究问题

• RQ1 当测试时无法获取配对的RGB-D数据时，从RGB到深度的跨任务知识蒸馏是否能提升单目深度超分辨率性能？
• RQ2 DSR网络与辅助深度估计网络之间的双向知识迁移，如何增强低分辨率深度图中结构细节的恢复？
• RQ3 添加结构预测任务在多大程度上提升了深度超分辨率的鲁棒性与准确性？
• RQ4 所提方法是否能在极低推理成本下实现高性能，同时避免在推理阶段处理高分辨率RGB图像？

主要发现

• 在NYUv2数据集上，×8超分辨率任务中，该方法的RMSE最低，为2.73，优于次优方法DKN的3.26。
• 在ToFMark数据集上，该方法在Devil序列中实现MAD为9.33，优于DSRN（9.54）与DGDIE（9.66）。
• 消融实验表明，与基线模型相比，跨任务蒸馏在NYUv2上降低误差8.9%，在Middlebury上降低6.5%。
• 与跨任务蒸馏基线相比，添加结构预测任务可使误差降低4.3%，证明其在增强结构表征方面的有效性。
• 不确定性诱导的注意力融合模块在所有序列上平均降低MAD 0.027，显著改善边界细节感知。
• 该方法在推理速度上表现优异，优于需要在测试时处理高分辨率RGB图像的彩色引导方法（如MSG与DSRN）。

Figure 2: Illustration of our proposed framework, which consists of DSRNet, DENet, and the middle cross-task interaction module. We supervise the outputs of DSRNet and DENet with the same groundtruth depth map $D_{hr}$ . In testing phase, DSRNet is the final choice to predict HR depth map from only