[論文レビュー] Project Aria: A New Tool for Egocentric Multi-Modal AI Research

Jakob Julian Engel, Kiran Somasundaram+72 more|arXiv (Cornell University)|Aug 24, 2023

Augmented Reality Applications被引用数 26

ひとこと要約

本論文は、ウェアラブルのエゴセントリックなマルチモーダルデータ取得デバイス「Project Aria」と、それを支えるソフトウェアツールおよびMachine Perception Servicesを紹介し、エゴセントリック知覚とパーソナライズドAIの研究を可能にするとともに、プライバシーに配慮した考慮事項を提示します。

ABSTRACT

Egocentric, multi-modal data as available on future augmented reality (AR) devices provides unique challenges and opportunities for machine perception. These future devices will need to be all-day wearable in a socially acceptable form-factor to support always available, context-aware and personalized AI applications. Our team at Meta Reality Labs Research built the Aria device, an egocentric, multi-modal data recording and streaming device with the goal to foster and accelerate research in this area. In this paper, we describe the Aria device hardware including its sensor configuration and the corresponding software tools that enable recording and processing of such data.

研究の動機と目的

• 将来のARグラス上でコンテキスト認識型のパーソナライズドAIを実現するため、エゴセントリックでマルチモーダルなデータの必要性を動機づける。
• Project Ariaのハードウェアセンサスイート、フォームファクター、記録機能を紹介する。
• Ariaデータを用いた研究を支えるソフトウェアツール、データ形式、そしてMachine Perception Servicesを説明する。
• デバイスとデータの利用を導くプライバシーと責任あるイノベーションの原則を概説する。
• Ariaデータとサービスによって実現可能な例示的な研究アプリケーションを示す。

提案手法

• Project Ariaデバイスのハードウェア、センサ構成、時系列に整列したデータストリームを説明する。
• 保存と再生に使用される記録ツール、プロファイル、およびVRSデータコンテナを説明する。
• 軌跡、オンラインキャリブレーション、半密度点群、視線出力を含むMachine Perception Services (MPS)の詳細。
• 実世界条件下での軌跡の精度（オープンループ対クローズドループ）と局所化のロバスト性を提示する。
• ハードウェアとソフトウェアに組み込まれたプライバシー機能と責任あるイノベーションの原則を概説する。
• 生涯マッピング、エゴセントリックなシーン再構成、活動理解などの例示的なアプリケーションを示す。

実験結果

リサーチクエスチョン

• RQ1 どのセンサ構成とデータ整列戦略が、堅牢なエゴセントリック知覚研究を可能にするか？
• RQ2 Machine Perception Servicesは、エゴセントリックなマルチモーダルデータからどのように正確な軌跡、キャリブレーション、視線を導出できるか？
• RQ3 ウェアラブルなエゴセントリックデータを用いた研究に必要で効果的なプライバシー保護策は何か？
• RQ4 Project Ariaのマルチモーダルデータセットとツールによって、どのような研究アプリケーションが実現可能になるか？

主な発見

• 本デバイスは、距離移動の0.4%未満のオープンループドリフト、室内スケールのシナリオでのクローズドループRMSE変換が通常1.5 cm程度に収まる、非常に高精度な6-DoF軌跡を提供する。
• オンラインキャリブレーションが、温度と使用状況による時間変化する内部・外部定数を考慮し、幾何精度を向上させる。
• 個別のキャリブレーション後、視線の中位レイ誤差は約1.5°に達する。
• 半密度点群と軌跡は、エゴセントリックデータからの直感的な環境理解を可能にする。
• 複数の記録プロファイルがセンサ忠実度と電力/帯域幅制約を均衡させ、長期的な生態データ収集を促進する。
• MPS出力と公開データセットは、すぐに使用できるエゴセントリック軌跡、キャリブレーション、視線データを提供することで研究を加速する。