[论文解读] CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion

Xinjing Cheng, Peng Wang+2 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Vision and Imaging参考文献 41被引用 15

一句话总结

CSPN++ 通过学习每个像素的自适应卷积核大小和迭代次数，提升了深度补全性能，实现了上下文感知和资源感知的推理。其在 KITTI 数据集上取得了 743.69 RMSE（2.07 iRMSE）的最先进性能，优于 CSPN 和其他最先进方法，同时支持动态计算预算自适应。

ABSTRACT

Depth Completion deals with the problem of converting a sparse depth map to a dense one, given the corresponding color image. Convolutional spatial propagation network (CSPN) is one of the state-of-the-art (SoTA) methods of depth completion, which recovers structural details of the scene. In this paper, we propose CSPN++, which further improves its effectiveness and efficiency by learning adaptive convolutional kernel sizes and the number of iterations for the propagation, thus the context and computational resources needed at each pixel could be dynamically assigned upon requests. Specifically, we formulate the learning of the two hyper-parameters as an architecture selection problem where various configurations of kernel sizes and numbers of iterations are first defined, and then a set of soft weighting parameters are trained to either properly assemble or select from the pre-defined configurations at each pixel. In our experiments, we find weighted assembling can lead to significant accuracy improvements, which we referred to as "context-aware CSPN", while weighted selection, "resource-aware CSPN" can reduce the computational resource significantly with similar or better accuracy. Besides, the resource needed for CSPN++ can be adjusted w.r.t. the computational budget automatically. Finally, to avoid the side effects of noise or inaccurate sparse depths, we embed a gated network inside CSPN++, which further improves the performance. We demonstrate the effectiveness of CSPN++on the KITTI depth completion benchmark, where it significantly improves over CSPN and other SoTA methods.

研究动机与目标

• 通过根据图像内容动态调整每个像素的传播上下文，提升深度补全的准确性。
• 通过学习每个像素的最优核大小和迭代次数，在不牺牲准确性的前提下降低深度补全网络的计算成本。
• 通过学习的门控机制提升对噪声或不准确稀疏深度输入的鲁棒性。
• 在训练和推理阶段实现模型复杂度对计算预算的自动适应。
• 在室外（KITTI）和室内（NYUv2）深度补全基准上展示方法的泛化能力。

提出的方法

• CSPN++ 将核大小和迭代次数作为每个像素的可学习超参数，利用软权重变量 αx 和 λx 从预定义配置中组合或选择。
• 提出一种上下文感知变体（CA-CSPN），通过学习的注意力机制融合来自多个核大小和迭代步长的输出，提升特征表示能力。
• 提出一种资源感知变体（RA-CSPN），通过学习的软门控机制为每个像素选择一个最优的核大小和迭代次数，最小化计算成本。
• 在 CSPN++ 中嵌入门控网络，根据输入的可靠性条件性地保留稀疏深度值，提升对噪声输入的鲁棒性。
• 在训练过程中引入延迟正则化项，鼓励在可能的情况下采用更小的核大小和更少的迭代次数，以实现高效推理。
• 通过训练和推理阶段的预算取整操作，支持对用户定义计算预算的自动适应。

实验结果

研究问题

• RQ1 与固定配置相比，每个像素自适应选择核大小和迭代次数是否能提升深度补全的准确性？
• RQ2 通过学习的资源感知推理，模型是否能动态降低计算成本，同时保持或提升准确性？
• RQ3 门控网络的集成如何影响模型对噪声或不准确稀疏深度输入的鲁棒性？
• RQ4 该模型在不同场景和数据集（如室外的 KITTI 和室内的 NYUv2）之间具有多大程度的泛化能力？
• RQ5 该模型是否能自动校准以满足特定的计算预算约束，而不会导致性能下降？

主要发现

• CA-CSPN 在 KITTI 测试集上达到 743.69 RMSE 和 2.07 iRMSE，优于 CSPN（1019.64 RMSE）及其他所有最先进方法。
• RA-CSPN 相比原始 CSPN 将推理延迟降低了最多 5 倍，同时将 RMSE 从 756.27 降低至 732.32。
• 在硬性计算预算约束下（CSPN 的 35%），RA-CSPN 将期望迭代次数从 0.439 降低至 0.303，同时将期望核大小从 0.268 提升至 0.333，在资源限制下实现了更高的准确性。
• 模型学习到在复杂区域（如物体边界和远距离表面）分配更大的核和更多的迭代次数，而在简单区域则使用更小的核和更少的迭代次数。
• 门控网络显著提升了对噪声稀疏深度的鲁棒性，对性能提升有重要贡献。
• 该方法在 NYUv2 上也表现出良好的泛化能力，在室内场景中持续优于基线方法。