[论文解读] DepthNet Nano: A Highly Compact Self-Normalizing Neural Network for Monocular Depth Estimation

Linda Wang, Mahmoud Famouri+1 more|arXiv (Cornell University)|Apr 17, 2020

Advanced Vision and Imaging参考文献 19被引用 7

一句话总结

DepthNet Nano 是一种高度紧凑的自归一化卷积神经网络，用于单目深度估计，通过人机协作策略设计，优化了宏观与微观架构，适用于边缘设备部署。其在 NYU-Depth V2 和 KITTI 数据集上实现了最先进精度，模型大小仅为先前工作的 1/24，所需 MAC 操作减少 42 倍，在 30W 功耗预算下于 Jetson AGX Xavier 上实现 14 FPS 和 >0.46 张图像/瓦特/秒的性能。

ABSTRACT

Depth estimation is an active area of research in the field of computer vision, and has garnered significant interest due to its rising demand in a large number of applications ranging from robotics and unmanned aerial vehicles to autonomous vehicles. A particularly challenging problem in this area is monocular depth estimation, where the goal is to infer depth from a single image. An effective strategy that has shown considerable promise in recent years for tackling this problem is the utilization of deep convolutional neural networks. Despite these successes, the memory and computational requirements of such networks have made widespread deployment in embedded scenarios very challenging. In this study, we introduce DepthNet Nano, a highly compact self normalizing network for monocular depth estimation designed using a human machine collaborative design strategy, where principled network design prototyping based on encoder-decoder design principles are coupled with machine-driven design exploration. The result is a compact deep neural network with highly customized macroarchitecture and microarchitecture designs, as well as self-normalizing characteristics, that are highly tailored for the task of embedded depth estimation. The proposed DepthNet Nano possesses a highly efficient network architecture (e.g., 24X smaller and 42X fewer MAC operations than Alhashim et al. on KITTI), while still achieving comparable performance with state-of-the-art networks on the NYU-Depth V2 and KITTI datasets. Furthermore, experiments on inference speed and energy efficiency on a Jetson AGX Xavier embedded module further illustrate the efficacy of DepthNet Nano at different resolutions and power budgets (e.g., ~14 FPS and >0.46 images/sec/watt at 384 X 1280 at a 30W power budget on KITTI).

研究动机与目标

• 为解决在无人机和自动驾驶汽车等资源受限嵌入式系统中部署大型、计算成本高昂的单目深度估计网络的挑战。
• 开发一种高度高效的深度神经网络，在显著降低模型大小和推理成本的同时，保持具有竞争力的深度估计精度。
• 利用人机协作设计策略，结合原理性网络原型设计与机器驱动的架构搜索，实现最优边缘部署。
• 在不牺牲深度估计质量的前提下，实现在嵌入式硬件上的高推理速度与能效。
• 构建一种自归一化网络架构，实现稳定训练与鲁棒性能，且对超参数调优需求极低。

提出的方法

• 采用人机协作设计策略，整合人工驱动的原理性网络设计与机器驱动的架构搜索，协同优化宏观与微观架构。
• 基于编码器-解码器架构原理设计 DepthNet Nano，采用针对嵌入式深度估计量身定制的模块。
• 引入自归一化组件（如缩放指数线性单元和跳跃连接），以稳定训练并提升泛化能力。
• 在模型大小与计算成本约束下，通过迭代搜索优化网络架构，实现参数量与 MAC 操作数最小化。
• 以 Jetson AGX Xavier 作为目标推理平台，在不同功耗预算（15W 和 30W）下评估实际性能。
• 采用混合设计流程：首先，人工专家定义架构原则与约束；其次，神经架构搜索（NAS）引擎在这些约束下探索配置，识别最优设计。

实验结果

研究问题

• RQ1 人机协作设计策略能否生成一种紧凑的自归一化神经网络，实现具有显著降低计算成本的竞争力深度估计精度？
• RQ2 在嵌入式硬件上，所提出的 DepthNet Nano 与最先进网络相比，在推理速度与能效方面表现如何？
• RQ3 在标准基准测试上，能否在不牺牲深度估计性能的前提下，显著提升架构效率？
• RQ4 DepthNet Nano 的自归一化特性是否有助于在低资源环境下实现稳定训练与鲁棒性？
• RQ5 尽管 MAC 操作数远少于先前模型，该网络能否在深度预测中保持良好的视觉质量？

主要发现

• 在 KITTI 数据集上，DepthNet Nano 的 δ₁ 达到 0.894，与 Alhashim 等 [2]（δ₁ = 0.886）相当，但 MAC 操作数减少 42 倍。
• 在 NYU-Depth V2 数据集上，DepthNet Nano 的 δ₁ 达到 0.816，略低于 Alhashim 等 [2]（δ₁ = 0.846），但 MAC 操作数减少 10 倍。
• 在 Jetson AGX Xavier 上 30W 功耗预算下，DepthNet Nano 在 KITTI 上实现 13.92 FPS 和 0.464 张图像/瓦特/秒，推理速度与能效较 Alhashim 等 [2] 提升 4.6 倍。
• 在 NYU-Depth V2 上，DepthNet Nano 在 30W 下实现 15.8 FPS 和 0.527 张图像/瓦特/秒，推理速度与能效较 Alhashim 等 [2] 提升 2.3 倍。
• 定性结果表明，DepthNet Nano 生成的深度图与最先进模型视觉效果相当，且在镜面反射区域表现出更优的一致性，即使在真实标签存在不一致的情况下亦然。
• 在 KITTI 上，DepthNet Nano 比 Alhashim 等 [2] 小 24 倍，MAC 操作数减少 42 倍，证明在几乎不损失精度的前提下实现了显著的效率提升。