[论文解读] Deformable kernel networks for guided depth map upsampling

Beom‐Jun Kim, Jean Ponce+1 more|arXiv (Cornell University)|Mar 27, 2019

Advanced Vision and Imaging参考文献 27被引用 12

一句话总结

该论文提出了一种可变形核网络（Deformable Kernel Networks, DKN），通过从低分辨率深度图和高分辨率彩色图像中学习空间可变的稀疏核权重与自适应邻域采样，实现引导式深度图超分。该方法在NYUv2数据集上的RMSE指标上相比最先进方法提升30–50%，并提出一种快速变体（FDKN），其推理速度比DKN快17倍，同时保持高精度。

ABSTRACT

We address the problem of upsampling a low-resolution (LR) depth map using a registered high-resolution (HR) color image of the same scene. Previous methods based on convolutional neural networks (CNNs) combine nonlinear activations of spatially-invariant kernels to estimate structural details from LR depth and HR color images, and regress upsampling results directly from the networks. In this paper, we revisit the weighted averaging process that has been widely used to transfer structural details from hand-crafted visual features to LR depth maps. We instead learn explicitly sparse and spatially-variant kernels for this task. To this end, we propose a CNN architecture and its efficient implementation, called the deformable kernel network (DKN), that outputs sparse sets of neighbors and the corresponding weights adaptively for each pixel. We also propose a fast version of DKN (FDKN) that runs about 17 times faster (0.01 seconds for a HR image of size 640 x 480). Experimental results on standard benchmarks demonstrate the effectiveness of our approach. In particular, we show that the weighted averaging process with 3 x 3 kernels (i.e., aggregating 9 samples sparsely chosen) outperforms the state of the art by a significant margin.

研究动机与目标

• 通过学习空间可变的稀疏核权重与邻域采样，而非依赖固定或空间不变的核，以提升深度图超分性能。
• 通过端到端学习可变形采样位置及其对应权重，实现亚像素级别的信息聚合。
• 开发一种快速推理变体（FDKN），在实现17倍速度提升的同时保持高精度。
• 证明即使仅从低分辨率深度图中学习（无引导信息），使用9个稀疏采样点也能达到SOTA性能。
• 研究核大小、特征提取方式以及深度与彩色图像联合使用对超分精度的影响。

提出的方法

• DKN架构通过卷积神经网络（CNN）为每个像素学习一组稀疏、空间可变的邻域及其对应权重，实现自适应、非均匀的特征聚合。
• 网络为每个像素预测偏移量与权重，支持亚像素采样，并可灵活选择超出规则网格的邻域。
• 采用加权平均公式：$\hat{f}_{\mathbf{p}} = \sum_{\mathbf{q} \in \mathcal{N}(\mathbf{p})} W_{\mathbf{p}\mathbf{q}}(g) f_{\mathbf{q}}$，其中$W_{\mathbf{p}\mathbf{q}}$与$\mathcal{N}(\mathbf{p})$由网络预测。
• 快速变体FDKN采用轻量化、高效的实现方式，使$640 \times 480$图像的推理时间减少约17倍。
• 网络采用下采样卷积（DownConv）模块，以扩大感受野，提升核预测的上下文感知能力。
• 模型通过监督学习在深度图超分任务上进行端到端训练，并对输入模态（彩色图像 vs. 仅深度图）与核大小进行消融实验。

实验结果

研究问题

• RQ1 学习空间可变的稀疏核权重与邻域采样是否能超越固定或空间不变核，提升深度图超分性能？
• RQ2 联合使用高分辨率彩色图像与低分辨率深度图像是否能获得优于单一模态的性能？
• RQ3 快速高效的实现方式（FDKN）是否能在实现显著加速的同时保持高精度？
• RQ4 在该任务中，何种核大小能在性能与计算成本之间实现最佳平衡？
• RQ5 仅使用低分辨率深度图（无引导信息）进行加权平均过程，是否仍能实现SOTA性能？

主要发现

• DKN模型在NYUv2数据集上达到新的SOTA，相比先前方法将平均RMSE降低30–50%。
• FDKN变体推理速度比原始DKN快17倍（每张$640 \times 480$图像仅需0.01秒），同时保持卓越性能。
• 即使仅使用低分辨率深度图进行核学习（无引导信息），采用$3 \times 3$稀疏核仍能实现SOTA性能，表明其具备强大的内在学习能力。
• 当同时从高分辨率彩色图像与低分辨率深度图像中联合学习核权重与采样偏移量，并结合残差连接时，性能达到最佳。
• $3 \times 3$核大小在精度与速度之间提供了最佳平衡，更大的核（如$15 \times 15$）未带来进一步增益。
• DownConv模块对性能至关重要，若移除该模块，RMSE将从3.26上升至5.00，凸显大感受野的重要性。