[论文解读] Discrete Cosine Transform Network for Guided Depth Map Super-Resolution

Zixiang Zhao, Jiangshe Zhang+3 more|arXiv (Cornell University)|Apr 14, 2021

Advanced Vision and Imaging参考文献 42被引用 13

一句话总结

该论文提出DCTNet，一种新颖的深度学习框架，用于引导深度图超分辨率，通过离散余弦变换（DCT）实现对高分辨率深度特征的可解释性、逐通道优化。通过整合半耦合卷积特征提取与边缘感知注意力机制，DCTNet减少了纹理过迁移现象，并在×4、×8和×16放大倍数的多个基准测试中实现了最先进性能，且参数量更少。

ABSTRACT

Guided depth super-resolution (GDSR) is an essential topic in multi-modal image processing, which reconstructs high-resolution (HR) depth maps from low-resolution ones collected with suboptimal conditions with the help of HR RGB images of the same scene. To solve the challenges in interpreting the working mechanism, extracting cross-modal features and RGB texture over-transferred, we propose a novel Discrete Cosine Transform Network (DCTNet) to alleviate the problems from three aspects. First, the Discrete Cosine Transform (DCT) module reconstructs the multi-channel HR depth features by using DCT to solve the channel-wise optimization problem derived from the image domain. Second, we introduce a semi-coupled feature extraction module that uses shared convolutional kernels to extract common information and private kernels to extract modality-specific information. Third, we employ an edge attention mechanism to highlight the contours informative for guided upsampling. Extensive quantitative and qualitative evaluations demonstrate the effectiveness of our DCTNet, which outperforms previous state-of-the-art methods with a relatively small number of parameters. The code is available at \url{https://github.com/Zhaozixiang1228/GDSR-DCTNet}.

研究动机与目标

• 为解决引导深度超分辨率（GDSR）中的挑战，包括RGB纹理过迁移、无效的跨模态特征提取以及深度学习模型可解释性差的问题。
• 通过嵌入基于物理启发的DCT优化模块，提升深度神经网络在GDSR中的可解释性。
• 实现在低分辨率深度图与高分辨率RGB图像中有效学习特征，同时保持深度不连续性和模态特异性细节。
• 在不牺牲性能的前提下降低模型复杂度，实现高精度与更少参数的平衡。

提出的方法

• 提出一种离散余弦变换（DCT）模块，该模块在特征域中求解逐通道优化问题，实现对高分辨率深度特征的可解释且高效的重建。
• 采用半耦合特征提取（SCFE）模块，利用共享卷积核提取共性特征，同时使用私有卷积核提取模态特异性信息，实现相关性与独特性的平衡。
• 引入引导边缘空间注意力（GESA）机制，利用RGB特征生成注意力权重，突出深度不连续性，以实现更优的上采样引导。
• 在SCFE模块中使用残差跳跃连接，以稳定训练并提升深层网络中的特征学习能力。
• 设计一种基于DCT的模块，替代特征优化阶段的标准卷积层，将基于优化的方法嵌入深度学习框架中。
• 在基于DCT的优化框架中，将多模态特征与注意力权重结合，生成结构保真度更高的高分辨率深度图。

实验结果

研究问题

• RQ1 基于DCT的模块能否提升深度学习模型在引导深度超分辨率中的可解释性与性能？
• RQ2 如何有效提取并融合来自RGB与深度图像的共享与私有特征，以减少纹理过迁移？
• RQ3 边缘感知注意力在多大程度上改善了RGB边缘与深度不连续性之间的对齐？
• RQ4 基于优化与深度学习的混合方法能否在参数更少的前提下，超越纯端到端深度学习模型在GDSR中的表现？
• RQ5 与完全共享或独立的卷积滤波器相比，半耦合设计在特征表示与性能方面表现如何？

主要发现

• DCTNet在多个数据集（如NYUv2、KITTI、Middlebury）和放大倍数（×4、×8、×16）下均达到最佳或第二佳性能，在定量与定性评估中均优于先前的最先进方法。
• 在NYUv2数据集上，DCTNet在×4时RMSE为0.717，×8时为1.281，×16时为1.852，展现出强大的泛化能力与鲁棒性。
• 在RGBDD数据集的真实世界分支上，DCTNet无需微调即可实现低于先前方法的RMSE，证实了其出色的泛化能力。
• 消融实验表明，移除DCT模块后参数量增加且性能下降，证明其在特征优化中的有效性。
• 半耦合特征提取模块优于独立与完全共享滤波器，凸显了特征共享平衡的重要性。
• DCT模块中可学习调优系数（λ̃）的使用优于固定值，表明自适应优化具有显著价值。