[논문 리뷰] DeepMix: Mobility-aware, Lightweight, and Hybrid 3D Object Detection for Headsets

Yongjie Guan, Xueyu Hou외 3명|arXiv (Cornell University)|2022. 01. 15.

Augmented Reality Applications인용 수 4

한 줄 요약

DeepMix는 모바일 헤드셋을 위한 경량이고 하이브리드 3D 객체 검출 프레임워크를 제안하며, 엣지에 위탁된 2D 객체 검출과 현장에서의 깊이 기반 3D 경계상자 추정을 결합함으로써 종단 간 지연가 100ms 이하, 30FPS를 달성하고, 최신 기술 대비 검출 정확도를 9.1–37.3% 향상시킨다.

ABSTRACT

Mobile headsets should be capable of understanding 3D physical environments to offer a truly immersive experience for augmented/mixed reality (AR/MR). However, their small form-factor and limited computation resources make it extremely challenging to execute in real-time 3D vision algorithms, which are known to be more compute-intensive than their 2D counterparts. In this paper, we propose DeepMix, a mobility-aware, lightweight, and hybrid 3D object detection framework for improving the user experience of AR/MR on mobile headsets. Motivated by our analysis and evaluation of state-of-the-art 3D object detection models, DeepMix intelligently combines edge-assisted 2D object detection and novel, on-device 3D bounding box estimations that leverage depth data captured by headsets. This leads to low end-to-end latency and significantly boosts detection accuracy in mobile scenarios. A unique feature of DeepMix is that it fully exploits the mobility of headsets to fine-tune detection results and boost detection accuracy. To the best of our knowledge, DeepMix is the first 3D object detection that achieves 30 FPS (an end-to-end latency much lower than the 100 ms stringent requirement of interactive AR/MR). We implement a prototype of DeepMix on Microsoft HoloLens and evaluate its performance via both extensive controlled experiments and a user study with 30+ participants. DeepMix not only improves detection accuracy by 9.1--37.3% but also reduces end-to-end latency by 2.68--9.15x, compared to the baseline that uses existing 3D object detection models.

연구 동기 및 목표

• 인터랙티브 AR/MR 응용 프로그램을 위한 자원 제약이 있는 모바일 헤드셋에서 3D 객체 검출의 높은 계산 지연 문제를 해결한다.
• 침습적인 AR/MR 경험에 필수적인 100ms 이내 종단 간 지연 기준을 초과하는 기존 3D 검출 모델의 한계를 극복한다.
• 헤드셋 이동성의 특성을 활용하여 시간적 일관성과 운동 신호를 통해 3D 경계상자 추정을 정밀하게 개선함으로써 검출 정확도를 향상시킨다.
• 깊이 데이터를 활용해 높은 정확도를 유지하면서도 무거운 DNN 추론에 의존도를 최소화하는 경량의 현장 내 3D 검출 파이프라인을 설계한다.
• 특수 하드웨어 없이도 Microsoft HoloLens 2와 같은 일반적인 모바일 헤드셋에서 실시간 정확한 3D 인식을 가능하게 한다.

제안 방법

• 빠른 2D 객체 검출을 위해 오직 RGB 이미지만 엣지 서버로 오프로드하여 현지 계산 부담을 감소시킨다.
• 반환된 2D 경계상자를 사용해 관련 깊이 데이터를 자르고 집중적으로 처리함으로써 처리해야 할 3D 데이터의 양을 극적으로 줄인다.
• 기하학적 제약과 관건점 검출을 통해 깊이 프레임을 분석하여 현장에서 3D 경계상자 추정을 수행한다.
• 배경 제거 및 관건점 투영 기법을 적용해 깊이 데이터로부터 3D 객체의 치수와 방향을 정밀하게 개선한다.
• 사용자 이동성을 활용하여 프레임 간 시간적 일관성을 통해 검출 정확도를 향상시키기 위해 다중 관측치를 융합한다.
• 운동 중 중복 처리를 줄이고 깊이 데이터 액세스를 최적화하기 위해 캐싱 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 하이브리드 2D/3D 검출 파이프라인은 자원 제약이 있는 모바일 헤드셋에서 종단 간 지연를 100ms 이하로 줄이면서도 높은 검출 정확도를 유지할 수 있는가?
• RQ2 이동성의 활용은 동적인 환경에서 3D 객체 검출 정확도 향상에 얼마나 효과적인가?
• RQ3 AR/MR 응용 프로그램에서 현장 내 깊이 처리를 통해 얼마나 많은 양의 계산 비용이 높은 3D DNN 추론에 대한 의존도를 줄일 수 있는가?
• RQ4 엣지 기반 2D 검출과 현장 내 3D 추정의 조합은 종단 간 3D 검출 모델 대비 지연 및 정확도 측면에서 어떻게 비교되는가?
• RQ5 경량이고 이동성 인식 기반의 3D 검출 시스템은 Microsoft HoloLens 2와 같은 일반 모바일 헤드셋에서 실시간 성능(30FPS)을 달성할 수 있는가?

주요 결과

• DeepMix는 종단 간 지연가 100ms 이하로 30FPS를 달성하여 인터랙티브 AR/MR 응용 프로그램에 필요한 엄격한 실시간 요구 조건을 충족시킨다.
• 특히 동적인 환경과 이동 시나리오에서 기준 3D 객체 검출 모델 대비 검출 정확도를 9.1–37.3% 향상시킨다.
• 기존 3D 검출 모델의 평균 72–283ms 추론 시간을 감안할 때 종단 간 지연가 2.68–9.15배 감소하였다.
• 이동성에 기반한 시간적 융합을 통해 운동 신호를 활용해 프레임 간 3D 경계상자 추정을 정밀하게 개선함으로써 검출 정확도가 향상된다.
• 2D 검출만 오프로드하고 깊이 데이터 처리를 현장에서 수행함으로써 DeepMix는 계산 부담을 줄이면서도 높은 정확도를 유지한다.
• 30명 이상의 참가자들이 참여한 사용자 연구 결과, 시스템의 실시간 반응성과 정확도가 침습적인 AR/MR 시나리오에서 뛰어난 사용자 경험을 제공한다는 것이 확인되었다.