[論文レビュー] Instant Motion Tracking and Its Applications to Augmented Reality

Jianing Wei, Genzhi Ye+4 more|arXiv (Cornell University)|Jul 16, 2019

Augmented Reality Applications参考文献 16被引用数 6

ひとこと要約

本稿では、初期化や視差要件を必要とせず、校正不要のリアルタイムモーショントラッキングシステムを提示する。共有されたモーショントラッキングモジュールを用いて、平面ターゲットトラッキングと相対スケールの6DoFトラッキングを実現する。視覚的領域トラッキングとインertialセンサデータ（ジャイロスコープと加速度計）を統合することで、2億台を超えるモバイルデバイスで平均27.5 FPSの性能を達成し、即時のARコンテンツ配置を実現する。

ABSTRACT

Augmented Reality (AR) brings immersive experiences to users. With recent advances in computer vision and mobile computing, AR has scaled across platforms, and has increased adoption in major products. One of the key challenges in enabling AR features is proper anchoring of the virtual content to the real world, a process referred to as tracking. In this paper, we present a system for motion tracking, which is capable of robustly tracking planar targets and performing relative-scale 6DoF tracking without calibration. Our system runs in real-time on mobile phones and has been deployed in multiple major products on hundreds of millions of devices.

研究の動機と目的

• ユーザーの動きによる初期化を必要とせず、校正不要の即時のモバイルデバイス向けARコンテンツ配置を可能にすること。
• 平面シーン、純粋な回転、ユーザーの動きがない状況などの退化したトラッキング状況に対処すること。
• 視覚的トランスレーションとインertialローテーション推定を用いて、任意の物体に対して耐障害性の高い6DoFトラッキングを実現すること。
• 多様なモバイルハードウェアで高スケーラビリティを実現するリアルタイム性能をサポートすること。

提案手法

• モーショントラッキングモジュールが特徴を抽出・追跡し、前景または背景に分類し、データに適合する最高の自由度モデル（2DoFから8DoFまで）を用いて時間的に整合性のあるカメラモーショントラッキングモデルを推定する。
• 領域トラッキングでは、反復加重最小二乗法（IRLS）を用いて重み付きモーショントラスクリプションにパラメトリックモデルをフィットさせ、フレーム間での領域トラッキングを耐障害性高く実現する。
• 平面ターゲットトラッキングでは、ホモグラフィーではなく透視変換を用いることで歪みを回避し、Levenberg-Marquardt最適化により3次元剛体変換を解く。
• 6DoFトラッキングでは、ピンホールカメラモデルを用いて視覚的領域モーショントラスクリプションからトランスレーションを推定し、回転はデバイスのジャイロスコープから直接取得する。
• 視覚的トランスレーション推定値とインertialローテーションデータを統合し、加速度計を用いて初期の姿勢整合のための「上方向」を推定する。
• 初期化時に標準的なグローバル姿勢を計算することで、領域が画角外に出たり再び現れたりしても一貫したポーズ推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 校正や初期化を必要とせず、任意の物体に対して耐障害性の高い6DoFポーズ推定を実現できるモーショントラッキングシステムは構築可能か？
• RQ2 ホモグラフィーに起因する歪みアーチファクトを低減するために、平面ターゲットトラッキングをどのように改善できるか？
• RQ3 視覚的データとインertialデータを効果的に統合することで、モバイルデバイス上で校正不要のリアルタイム6DoFトラッキングを実現できるか？
• RQ4 純粋な回転や平面シーンなどの退化状況でも、トラッキングをどのように耐障害性高く維持できるか？
• RQ5 このようなシステムは、実世界のARアプリケーションにおいて多様なモバイルハードウェアで、性能とスケーラビリティに優れているか？

主な発見

• 本システムは、415台以上の異なるモバイルデバイスで平均27.5 FPSのリアルタイム性能を達成し、主要なARアプリケーションにおけるスケーラブルな展開を可能にした。
• ホモグラフィーではなく透視変換を用いることで、平面ターゲットトラッキングにおける歪みアーチファクトを顕著に低減し、時間経過に伴う幾何的正確性を維持した。
• 視覚的トランスレーションとインertialローテーションの統合により、校正なしで耐障害性の高い6DoFトラッキングを実現し、任意の表面に即時のARコンテンツ配置を可能にした。
• 領域がカメラの視野外に出ても再取得可能であり、動的・静的領域のトラッキングを継続的に維持できた。
• 平面シーン、純粋な回転、最小限のユーザーの動きといった退化状況でも、従来のSLAMやホモグラフィー基盤の手法を上回る耐障害性を示した。
• 本システムは、数億台を超えるデバイスでプロダクション環境に展開され、実世界のARユースケースにおいて高い信頼性とスケーラビリティを実証した。