[论文解读] BridgeNet: A Joint Learning Network of Depth Map Super-Resolution and Monocular Depth Estimation

Qi Tang, Runmin Cong+5 more|arXiv (Cornell University)|Jul 27, 2021

Advanced Vision and Imaging参考文献 53被引用 4

一句话总结

本文提出BridgeNet，一种联合学习框架，无需额外监督即可同时执行深度图超分辨率（DSR）和单目深度估计（MDE）。通过引入两个专用桥接模块——用于特征级引导的高频注意力桥（HABdg）和用于重建级反馈的内容引导桥（CGBdg），模型在任务间有效传递高频和结构信息，实现在基准数据集上的最先进性能，尤其在大缩放因子下表现突出。

ABSTRACT

Depth map super-resolution is a task with high practical application requirements in the industry. Existing color-guided depth map super-resolution methods usually necessitate an extra branch to extract high-frequency detail information from RGB image to guide the low-resolution depth map reconstruction. However, because there are still some differences between the two modalities, direct information transmission in the feature dimension or edge map dimension cannot achieve satisfactory result, and may even trigger texture copying in areas where the structures of the RGB-D pair are inconsistent. Inspired by the multi-task learning, we propose a joint learning network of depth map super-resolution (DSR) and monocular depth estimation (MDE) without introducing additional supervision labels. For the interaction of two subnetworks, we adopt a differentiated guidance strategy and design two bridges correspondingly. One is the high-frequency attention bridge (HABdg) designed for the feature encoding process, which learns the high-frequency information of the MDE task to guide the DSR task. The other is the content guidance bridge (CGBdg) designed for the depth map reconstruction process, which provides the content guidance learned from DSR task for MDE task. The entire network architecture is highly portable and can provide a paradigm for associating the DSR and MDE tasks. Extensive experiments on benchmark datasets demonstrate that our method achieves competitive performance. Our code and models are available at https://rmcong.github.io/proj_BridgeNet.html.

研究动机与目标

• 为解决在色彩引导的深度超分辨率中因RGB与深度模态差异导致的纹理复制和深度渗色问题，阻碍特征迁移。
• 通过将单目深度估计作为辅助任务来提升深度图超分辨率性能，且无需额外监督。
• 设计一种可移植的多任务学习框架，实现在DSR与MDE网络之间的双向知识迁移。
• 克服现有方法依赖直接特征或边缘图迁移的局限，这些方法常导致模态特异性结构错位。
• 通过结构化、任务特定的交互模块，建立深度超分辨率与单目深度估计联合学习的新范式。

提出的方法

• 该框架以端到端方式联合训练一个深度图超分辨率网络（DSRNet）和一个单目深度估计网络（MDENet）。
• 高频注意力桥（HABdg）从MDENet编码器有选择性地传输高频特征，以引导DSRNet编码器，从而增强边缘与纹理细节的恢复。
• 内容引导桥（CGBdg）从DSRNet解码器提供内容感知特征，反馈至MDENet解码器，通过重建的深度上下文提升深度估计精度。
• 差异化引导策略确保模态特异性信息被适切传递，避免RGB与深度结构之间的错位。
• 模型采用结合L1损失与感知损失的多任务损失函数，实现对两个任务的同步优化。
• 该架构高度模块化且可移植，可轻松集成至其他与深度相关的任务中。

实验结果

研究问题

• RQ1 在无额外监督的情况下，深度图超分辨率与单目深度估计的联合学习能否提升性能？
• RQ2 如何有效将RGB图像中的高频细节传递至深度超分辨率，同时避免纹理复制？
• RQ3 何种结构化的跨任务特征交互方式能最好地保持模态特异性结构一致性？
• RQ4 将单目深度估计作为辅助任务是否能提升深度图超分辨率性能，尤其是在高倍率缩放下？
• RQ5 所提出的HABdg与CGBdg组件相较于直接特征拼接或基于边缘的引导，在性能与鲁棒性方面表现如何？

主要发现

• 在Middlebury 2005数据集上，BridgeNet在×8和×16缩放因子下均取得最佳性能，平均绝对误差（MAD）为0.343，优于所有基线方法。
• 消融研究证实，HABdg与CGBdg均不可或缺：移除任一模块均导致性能下降，其中HABdg对高频细节恢复贡献显著。
• HABdg相比简单特征拼接在MAD上提升0.033（0.343 vs. 0.376），证明其在选择性、注意力驱动的特征迁移中的有效性。
• 视觉对比显示，与仅使用DSRNet相比，BridgeNet在复杂纹理区域产生更清晰的边界和更精确的深度值。
• 模型在NYUv2数据集上也取得具有竞争力的结果，证实其在多样化真实场景中的泛化能力。
• 联合训练框架实现相互促进：DSRNet受益于MDE提供的高频特征，MDENet则从DSRNet的内容感知重建中获益。