[論文レビュー] Instant 3D Object Tracking with Applications in Augmented Reality

Adel Ahmadyan, Tingbo Hou+4 more|arXiv (Cornell University)|Jun 23, 2020

Robotics and Sensor-Based Localization参考文献 13被引用数 9

ひとこと要約

本論文は、1段階のCNNを用いて1枚のRGB画像から物体の3Dバウンディングボックスをリアルタイムに検出・推定する、キャリブレーション不要のリアルタイム3Dオブジェクト追跡システムを提示する。その後、平面トラッカーを用いて9自由度（位置、姿勢、スケール）のポーズ追跡を維持し、推論周波数を最小限に抑える。本システムは、GPUに検出処理を効率的にオフロードし、CPUにトラッキング処理を割り当てることで、モバイルデバイス上で26フレーム/秒以上を達成し、事前のキャリブレーションやオブジェクトモデルが不要な即時的で、強固で、効率的な追跡を実現する。

ABSTRACT

Tracking object poses in 3D is a crucial building block for Augmented Reality applications. We propose an instant motion tracking system that tracks an object's pose in space (represented by its 3D bounding box) in real-time on mobile devices. Our system does not require any prior sensory calibration or initialization to function. We employ a deep neural network to detect objects and estimate their initial 3D pose. Then the estimated pose is tracked using a robust planar tracker. Our tracker is capable of performing relative-scale 9-DoF tracking in real-time on mobile devices. By combining use of CPU and GPU efficiently, we achieve 26-FPS+ performance on mobile devices.

研究の動機と目的

• 拡張現実（AR）アプリケーション向けに、事前のキャリブレーションやオブジェクト固有のモデルが不要な、モバイルデバイス上でリアルタイムで即時的な3Dオブジェクト追跡を可能にすること。
• 深層学習による検出ノイズが引き起こす3Dポーズ推定のジターリングを低減するため、検出＋トラッキングフレームワークを採用すること。
• RGB入力と標準的なモバイルハードウェアのみを用いて、強固な9自由度（位置、姿勢、スケール）の追跡を実現すること。
• 効率的で低レイテンシであり、実世界のARアプリケーションへのデプロイに適したシステムを開発すること。
• CADモデルや形状のアノテーションが不要な状態で、未観測のカテゴリレベルのオブジェクトを追跡できること。

提案手法

• MobileNetV2バックボーンを備えた1段階のCNNが、1枚のRGB画像から一括して検出、セグメンテーション、3Dバウンディングボックスの回帰を実行する。
• ネットワークは3Dバウンディングボックスの8頂点の2次元投影を予測し、EPnPを用いてスケールまで含めた完全な3Dポーズを回復する。
• システムは3D頂点と中心点を2次元に投影することでトラッキングを初期化し、9つのキーポイントをロバストな6自由度平面トラッカーで追跡する。
• トラッカーはCPUで実行され、時間的整合性を維持し、ジターリングを低減する。これにより、検出器は数フレームに1度の頻度でのみ実行すればよい。
• トラッキングされた2次元点を用いてEPnPによりポーズ推定を更新し、以降のフレームで相対スケールの9自由度追跡を実現する。
• 検出結果とトラッキング結果をIoUの重なりに基づいて統合することで、より高い堅牢性と整合性を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのシステムは、キャリブレーションやオブジェクトモデルが不要な状態で、モバイルデバイス上でのリアルタイム3Dオブジェクト追跡を達成できるか？
• RQ2 3Dポーズ推定における検出ノイズをどのように低減することで、安定したARアプリケーションを実現できるか？
• RQ3 モバイルハードウェア上でCNN推論を頻度を低くしても、平面トラッカーが9自由度ポーズ追跡を効果的に維持できるか？
• RQ4 CADモデルが存在しない状態で、未観測のカテゴリレベルのオブジェクトに対して、どの程度の堅牢性を示せるか？
• RQ5 モバイル最適化されたエンドツーエンドの3D追跡パイプラインにおいて、精度と効率のトレードオフはどのように変化するか？

主な発見

• 検出処理はモバイルGPU上で26.5 FPS、トラッキング処理はCPU上で30 FPS以上を達成し、Snapdragon 865搭載のSamsung S20などのデバイスでもリアルタイム性能を実現した。
• 3Dオブジェクト検出器は、3D IoUが0.5のとき平均精度（AP）が0.59を達成し、モデルサイズはわずか5.54MBであった。
• 検出＋トラッキングフレームワークにより、IoUベースの統合を用いることでジターリングが低減され、時間的整合性が向上した。
• 本システムは、パララックスを誘発する動きや複雑な初期化手順が不要なため、低レイテンシで即時追跡を実現した。
• 物体が平面面上にあり、顕著な転がりや姿勢の曖昧さが生じない限り、通常のAR環境下でもトラッカーは堅牢に動作した。
• 事前の形状情報やCADモデルの知識がなくても、未観測のオブジェクトを効果的に追跡でき、カテゴリレベルのインスタンスへの一般化能力を示した。