[論文レビュー] DeepMix: Mobility-aware, Lightweight, and Hybrid 3D Object Detection for Headsets

Yongjie Guan, Xueyu Hou+3 more|arXiv (Cornell University)|Jan 15, 2022

Augmented Reality Applications被引用数 4

ひとこと要約

DeepMixは、モバイルヘッドセット向けに軽量でハイブリッドな3次元物体検出フレームワークを提案する。エッジにオフロードされた2次元物体検出と、デバイス内での深度に基づく3次元バウンディングボックス推定を組み合わせ、エンドツーエンドの遅延が100 ms未塔で30 FPSを達成し、最先端のモデルと比較して検出精度を9.1–37.3%向上させる。

ABSTRACT

Mobile headsets should be capable of understanding 3D physical environments to offer a truly immersive experience for augmented/mixed reality (AR/MR). However, their small form-factor and limited computation resources make it extremely challenging to execute in real-time 3D vision algorithms, which are known to be more compute-intensive than their 2D counterparts. In this paper, we propose DeepMix, a mobility-aware, lightweight, and hybrid 3D object detection framework for improving the user experience of AR/MR on mobile headsets. Motivated by our analysis and evaluation of state-of-the-art 3D object detection models, DeepMix intelligently combines edge-assisted 2D object detection and novel, on-device 3D bounding box estimations that leverage depth data captured by headsets. This leads to low end-to-end latency and significantly boosts detection accuracy in mobile scenarios. A unique feature of DeepMix is that it fully exploits the mobility of headsets to fine-tune detection results and boost detection accuracy. To the best of our knowledge, DeepMix is the first 3D object detection that achieves 30 FPS (an end-to-end latency much lower than the 100 ms stringent requirement of interactive AR/MR). We implement a prototype of DeepMix on Microsoft HoloLens and evaluate its performance via both extensive controlled experiments and a user study with 30+ participants. DeepMix not only improves detection accuracy by 9.1--37.3% but also reduces end-to-end latency by 2.68--9.15x, compared to the baseline that uses existing 3D object detection models.

研究の動機と目的

• インタラクティブなAR/MRアプリケーションにおけるリソース制約のあるモバイルヘッドセットにおける3次元物体検出の高い計算遅延の課題に対処する。
• 没入型AR/MR体験に必要な100 msのエンドツーエンド遅延閾値を超える既存の3次元検出モデルの限界を克服する。
• ヘッドセットの移動性を活用して、時間的整合性と運動の手がかりを用いて3次元バウンディングボックス推定を精緻化することで、検出精度を向上させる。
• 計算コストの高いDNN推論に依存を最小限に抑える一方で、深度データを活用して高い精度を維持する、軽量なデバイス内3次元検出パイプラインを設計する。
• 専用ハードウェアを必要とせず、Microsoft HoloLens 2などのコンsumer向けモバイルヘッドセットでも、リアルタイムかつ高精度な3次元認識を実現する。

提案手法

• 高速な2次元物体検出を実現するため、RGB画像のみをエッジサーバーにオフロードする。これにより、ローカルの計算負荷を軽減する。
• 返された2次元バウンディングボックスを用いて、関連する深度データをクロップし、処理対象の3次元データ量を著しく削減する。
• 幾何的制約とキーポイント検出を用いて、深度フレームを分析することで、デバイス内で3次元バウンディングボックス推定を実行する。
• 背景除去とキーポイント投影技術を適用し、深度データから3次元オブジェクトの寸法と姿勢を精緻に推定する。
• ユーザーの移動性を活用し、複数フレームにわたる観測を統合することで、時間的整合性を活かして検出精度を向上させる。
• 動き中の冗長な処理を削減するため、深度データへのアクセスを最適化するキャッシュメカニズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな2次元/3次元検出パイプラインは、モバイルヘッドセット上でエンドツーエンド遅延を100 ms未塔に抑えると同時に高い検出精度を維持できるか？
• RQ2 動的環境下において、ヘッドセットの移動性を活用することで、3次元物体検出精度はどの程度向上するか？
• RQ3 AR/MRアプリケーションにおいて、デバイス内での深度処理は、計算コストの高い3次元DNN推論への依存をどの程度軽減できるか？
• RQ4 エッジベースの2次元検出とデバイス内3次元推定の組み合わせは、エンドツーエンドの3次元検出モデルと比較して、遅延と精度の面でどの程度優れているか？
• RQ5 軽量でモビリティに配慮した3次元検出システムは、HoloLens 2のようなコンsumer向けモバイルヘッドセットでリアルタイム性能（30 FPS）を達成できるか？

主な発見

• DeepMixは、エンドツーエンド遅延が100 ms未塔で30 FPSを達成し、インタラクティブなAR/MRアプリケーションに求められる厳しいリアルタイム要件を満たしている。
• ベースラインの3次元物体検出モデルと比較して、特に動的かつ移動中のシナリオにおいて9.1–37.3%の検出精度向上を達成している。
• 既存の3次元検出モデル（通常72–283 msの推論時間）と比較して、エンドツーエンド遅延が2.68–9.15倍短縮されている。
• モビリティを活用した時間的統合により、動きを活かして複数フレームにわたる3次元バウンディングボックス推定を精緻化し、検出精度が向上している。
• 2次元検出をオフロードし、深度データ処理をデバイス内で実行することで、DeepMixは計算負荷を軽減しながらも高い精度を維持している。
• 30名以上の参加者によるユーザースタディーでは、没入型AR/MRシナリオにおけるシステムのリアルタイム応答性と精度の向上が確認され、ユーザー体験の向上が裏付けられた。