[论文解读] Joint convolutional neural pyramid for depth map super-resolution

Yi Xiao, Xiang Cao+3 more|arXiv (Cornell University)|Jan 3, 2018

Advanced Vision and Imaging参考文献 2被引用 7

一句话总结

本文提出了一种联合卷积神经金字塔（JCNP）模型，通过利用大感受野，借助由融合CNN连接的两个卷积神经金字塔，提升了深度图超分的效果。该方法在RGB/深度、彩色/显著性以及彩色草图/图像对等任务上优于当前最先进方法，通过有效传递引导图像中的结构细节，实现了更低的RMSE和更锐利的结果，同时减少了伪影。

ABSTRACT

High-resolution depth map can be inferred from a low-resolution one with the guidance of an additional high-resolution texture map of the same scene. Recently, deep neural networks with large receptive fields are shown to benefit applications such as image completion. Our insight is that super resolution is similar to image completion, where only parts of the depth values are precisely known. In this paper, we present a joint convolutional neural pyramid model with large receptive fields for joint depth map super-resolution. Our model consists of three sub-networks, two convolutional neural pyramids concatenated by a normal convolutional neural network. The convolutional neural pyramids extract information from large receptive fields of the depth map and guidance map, while the convolutional neural network effectively transfers useful structures of the guidance image to the depth image. Experimental results show that our model outperforms existing state-of-the-art algorithms not only on data pairs of RGB/depth images, but also on other data pairs like color/saliency and color-scribbles/colorized images.

研究动机与目标

• 通过利用高分辨率纹理或引导图来提升深度图超分效果。
• 解决现有方法因感受野有限而导致细节过度平滑或引入伪影的局限性。
• 开发一种深度学习架构，以高效捕捉长距离上下文信息，实现更优的重建效果。
• 将该方法的适用性扩展至深度图以外的其他图像超分任务，如色度图和显著性图。

提出的方法

• 该模型使用两个独立的卷积神经金字塔（CNPs），分别从低分辨率深度图和高分辨率引导图像中提取多尺度特征。
• 每个CNI通过分层结构处理特征，逐级扩展感受野，同时不增加计算成本。
• 一个中心卷积神经网络（CNN）融合来自两个金字塔的特征，以重建高分辨率深度图。
• 通过在金字塔层级上堆叠空洞卷积，实现大有效感受野，增强上下文建模能力。
• 模型采用端到端训练，使用像素级损失函数，以最小化预测结果与真实高分辨率深度图之间的重建误差。
• 该框架可迁移至其他超分任务，包括色度图和显著性图增强，仅需更换输入对，网络结构保持不变。

实验结果

研究问题

• RQ1 具有大感受野的深度神经网络能否在深度图超分任务上超越当前最先进方法？
• RQ2 高分辨率引导图像中的结构细节能否被有效传递，用于重建高分辨率深度图？
• RQ3 所提出的联合卷积神经金字塔架构是否能泛化至深度图以外的其他图像超分任务？
• RQ4 大感受野对减少超分结果中的伪影（如过度平滑或梯度反转）有何影响？

主要发现

• JCNP模型在Middlebury、Lu和NYUv2数据集上实现了最低的RMSE，尤其在8×和16×上采样时表现尤为突出。
• 在Middlebury数据集上，模型在2×时RMSE为1.16，4×时为1.79，8×时为3.22，16×时为5.54，优于所有基线方法。
• 在色度图超分任务中，模型在2×时RMSE为6.73，4×时为13.41，显著低于双三次插值和其他SOTA方法。
• 在显著性图超分任务中，模型在2×时RMSE为11.19，4×时为15.46，表现出更优的边缘保持能力并减少了颜色渗色现象。
• 视觉对比结果表明，与He [3]、Li [6]和Kopf [2]相比，JCNP在纹理丰富区域和边界区域生成了更锐利的边缘和更少的伪影。
• 该模型在非深度任务上也表现出良好的泛化能力，在颜色草图和彩色图像超分任务中仅需极少架构修改即可实现优异性能。