[论文解读] DeepMix: Mobility-aware, Lightweight, and Hybrid 3D Object Detection for Headsets

Yongjie Guan, Xueyu Hou+3 more|arXiv (Cornell University)|Jan 15, 2022

Augmented Reality Applications被引用 4

一句话总结

DeepMix 提出了一种轻量级、混合式3D目标检测框架，适用于移动头戴设备，结合边缘卸载的2D目标检测与设备端基于深度信息的3D边界框估计，实现30 FPS的帧率，端到端延迟低于100 ms，并相较于最先进模型将检测准确率提升了9.1%–37.3%。

ABSTRACT

Mobile headsets should be capable of understanding 3D physical environments to offer a truly immersive experience for augmented/mixed reality (AR/MR). However, their small form-factor and limited computation resources make it extremely challenging to execute in real-time 3D vision algorithms, which are known to be more compute-intensive than their 2D counterparts. In this paper, we propose DeepMix, a mobility-aware, lightweight, and hybrid 3D object detection framework for improving the user experience of AR/MR on mobile headsets. Motivated by our analysis and evaluation of state-of-the-art 3D object detection models, DeepMix intelligently combines edge-assisted 2D object detection and novel, on-device 3D bounding box estimations that leverage depth data captured by headsets. This leads to low end-to-end latency and significantly boosts detection accuracy in mobile scenarios. A unique feature of DeepMix is that it fully exploits the mobility of headsets to fine-tune detection results and boost detection accuracy. To the best of our knowledge, DeepMix is the first 3D object detection that achieves 30 FPS (an end-to-end latency much lower than the 100 ms stringent requirement of interactive AR/MR). We implement a prototype of DeepMix on Microsoft HoloLens and evaluate its performance via both extensive controlled experiments and a user study with 30+ participants. DeepMix not only improves detection accuracy by 9.1--37.3% but also reduces end-to-end latency by 2.68--9.15x, compared to the baseline that uses existing 3D object detection models.

研究动机与目标

• 解决在资源受限的移动头戴设备上进行交互式AR/MR应用时，3D目标检测面临的高计算延迟问题。
• 克服现有3D检测模型因超过100 ms端到端延迟阈值而无法满足沉浸式AR/MR体验需求的局限性。
• 利用头戴设备的移动性，通过时间一致性与运动线索优化3D边界框估计，提升检测准确率。
• 设计一种轻量级、设备端执行的3D检测流水线，最大限度减少对重型深度神经网络（DNN）推理的依赖，同时利用深度数据保持高准确率。
• 在无需专用硬件的前提下，实现在如微软HoloLens 2等主流移动头戴设备上的近实时、高精度3D感知。

提出的方法

• 仅将RGB图像卸载至边缘服务器以实现快速2D目标检测，从而降低本地计算负载。
• 利用返回的2D边界框裁剪并聚焦于相关深度数据，显著减少需处理的3D数据量。
• 通过分析深度帧中的几何约束与关键点检测，在设备端执行3D边界框估计。
• 应用背景去除与关键点投影技术，从深度数据中进一步优化3D目标的尺寸与朝向。
• 利用用户移动性，通过多帧间融合实现时间一致性，提升检测准确率。
• 集成缓存机制以优化深度数据访问，减少运动过程中的冗余处理。

实验结果

研究问题

• RQ1 混合式2D/3D检测流水线是否能在移动头戴设备上实现低于100 ms的端到端延迟，同时保持高检测准确率？
• RQ2 在动态环境中，利用头戴设备移动性对提升3D目标检测准确率的效率如何？
• RQ3 在AR/MR应用中，设备端深度处理能在多大程度上减少对计算密集型3D DNN推理的依赖？
• RQ4 与端到端3D检测模型相比，基于边缘2D检测与设备端3D估计的组合在延迟与准确率方面表现如何？
• RQ5 轻量级、具备移动感知能力的3D检测系统是否能在如HoloLens 2等主流移动头戴设备上实现30 FPS的实时性能？

主要发现

• DeepMix 实现了30 FPS，端到端延迟低于100 ms，满足交互式AR/MR应用对严格实时性的要求。
• 与基线3D目标检测模型相比，该系统在动态与移动场景中检测准确率提升了9.1%–37.3%。
• 与现有3D检测模型相比，端到端延迟降低了2.68–9.15倍，后者通常具有72–283 ms的推理时间。
• 利用移动性进行时间融合，通过运动线索在多帧间优化3D边界框估计，显著提升了检测准确率。
• 通过仅卸载2D检测并在设备端处理深度数据，DeepMix 在保持高准确率的同时显著降低了计算负载。
• 超过30名用户的实验验证了系统在沉浸式AR/MR场景中具备更优的用户体验，证实了其近实时响应性与高准确率。