[论文解读] Fast and Accurate Single-Image Depth Estimation on Mobile Devices, Mobile AI 2021 Challenge: Report

Andrey Ignatov, Grigory Malivenko+36 more|arXiv (Cornell University)|May 17, 2021

Advanced Vision and Imaging参考文献 67被引用 13

一句话总结

本文介绍了针对单图像深度估计的 Mobile AI 2021 挑战赛，提出了一套使用 ZED 立体相机捕获的大规模 RGB-深度数据集，旨在实现在移动设备上的实时推理。参赛者开发了高效且兼容 TensorFlow Lite 的模型，在 Raspberry Pi 4 上实现了最高 10 FPS 的性能，同时保持了高精度，展示了在资源受限硬件上实际部署深度估计的可行性。

ABSTRACT

Depth estimation is an important computer vision problem with many practical applications to mobile devices. While many solutions have been proposed for this task, they are usually very computationally expensive and thus are not applicable for on-device inference. To address this problem, we introduce the first Mobile AI challenge, where the target is to develop an end-to-end deep learning-based depth estimation solutions that can demonstrate a nearly real-time performance on smartphones and IoT platforms. For this, the participants were provided with a new large-scale dataset containing RGB-depth image pairs obtained with a dedicated stereo ZED camera producing high-resolution depth maps for objects located at up to 50 meters. The runtime of all models was evaluated on the popular Raspberry Pi 4 platform with a mobile ARM-based Broadcom chipset. The proposed solutions can generate VGA resolution depth maps at up to 10 FPS on the Raspberry Pi 4 while achieving high fidelity results, and are compatible with any Android or Linux-based mobile devices. A detailed description of all models developed in the challenge is provided in this paper.

研究动机与目标

• 开发端到端的基于深度学习的深度估计模型，使其在移动和物联网平台上的设备推理中兼具高精度与高效率。
• 通过引入在真实环境中采集的新型大规模数据集（最高可达 50 米的高分辨率深度图），填补移动端兼容深度估计的空白。
• 在真实低功耗硬件（Raspberry Pi 4）上评估模型，而非传统的桌面 GPU，以确保实际效率和实时性能。
• 通过针对移动设备特定约束（如有限内存和对常见深度学习算子支持不佳）进行优化，平衡模型保真度与推理速度。
• 通过确保所有模型兼容 TensorFlow Lite 和 Android Neural Networks API (NNAPI) 或自定义代理，促进部署的可移植性。

提出的方法

• 参赛者使用 ZED 3D 立体相机捕获的 8,000 对 RGB-深度图像数据集进行模型训练，提供远距离达 50 米的高分辨率深度图。
• 所有模型均在搭载 ARM 架构 Broadcom 芯片的 Raspberry Pi 4 上进行评估，以确保在移动硬件约束下实现实时性能。
• 核心架构包括改进的 U-Net、MobileNetV3Small、基于 ResNet 的 BTS 以及注意力增强编码器，均通过量化和剪枝技术适配移动端推理。
• 模型训练结合了 L1 损失、梯度 L1 损失和 SSIM 损失，以提升深度图保真度和边缘一致性。
• 通过知识蒸馏、低比特量化和硬件感知神经架构搜索等技术提升效率。
• 最终模型导出为 TensorFlow Lite 格式，并通过 NNAPI、GPU、Hexagon 或自定义代理在 Android 和 Linux 设备上实现跨平台加速部署。

实验结果

研究问题

• RQ1 能否在移动和嵌入式设备上实现实时运行且精度较高的单图像深度估计？
• RQ2 与标准桌面基准相比，模型在 Raspberry Pi 4 上的延迟和精度表现如何？
• RQ3 模型压缩与硬件感知设计在不牺牲深度估计质量的前提下，能在多大程度上提升推理速度？
• RQ4 在移动 NPU 和 ARM CPU 上部署深度估计时，最有效的模型架构和优化策略是什么？
• RQ5 能否通过 TensorFlow Lite 等开放框架建立标准化、可移植且高效的移动端 AI 深度估计流水线？

主要发现

• 表现最佳的模型在 Raspberry Pi 4 上实现了最高 10 FPS 的推理速度，同时生成了高保真度的 VGA 分辨率深度图。
• 采用 L1、梯度 L1 和 SSIM 损失训练的模型相比基线方法，在边缘一致性和感知质量方面表现更优。
• 知识蒸馏和模型蒸馏技术显著减小了模型尺寸并缩短了推理时间，同时保持了精度。
• 使用 hard-sigmoid 和 Leaky ReLU 激活函数在不降低性能的前提下，提升了移动硬件上的推理速度。
• 所有提交的模型均成功在移动平台上部署，使用 TensorFlow Lite 并通过 NNAPI 或自定义代理实现加速。
• 该挑战赛证明，通过针对性的模型压缩和硬件感知设计，最先进的深度估计方法可有效适配移动端部署。