[논문 리뷰] Project Aria: A New Tool for Egocentric Multi-Modal AI Research

Jakob Julian Engel, Kiran Somasundaram외 72명|arXiv (Cornell University)|2023. 08. 24.

Augmented Reality Applications인용 수 26

한 줄 요약

본 논문은 소프트웨어 도구와 Machine Perception Services를 갖춘 웨어러블 자가 중심 다중 모드 데이터 수집 장치인 Project Aria를 제시한다. 이를 통해 자가 중심 인지 및 개인화된 AI 연구를 가능하게 하며, 프라이버시 고려사항도 함께 다룬다.

ABSTRACT

Egocentric, multi-modal data as available on future augmented reality (AR) devices provides unique challenges and opportunities for machine perception. These future devices will need to be all-day wearable in a socially acceptable form-factor to support always available, context-aware and personalized AI applications. Our team at Meta Reality Labs Research built the Aria device, an egocentric, multi-modal data recording and streaming device with the goal to foster and accelerate research in this area. In this paper, we describe the Aria device hardware including its sensor configuration and the corresponding software tools that enable recording and processing of such data.

연구 동기 및 목표

• 향후 AR 안경에서 맥락 인식형 개인화 AI를 가능하게 하기 위해 자가 중심의 다중 모달 데이터 필요성을 제시한다.
• Project Aria의 하드웨어 센서 구성, 폼팩터, 및 녹화 기능을 소개한다.
• Aria 데이터를 활용한 연구를 지원하는 소프트웨어 도구, 데이터 형식, 그리고 Machine Perception Services를 설명한다.
• 장치 및 데이터 사용을 안내하는 프라이버시 및 책임 있는 혁신 원칙을 개요로 제시한다.
• Aria 데이터와 서비스로 가능해진 예시 연구 응용을 시연한다.

제안 방법

• Project Aria 장치의 하드웨어, 센서 구성 및 시간 정렬된 데이터 스트림을 설명한다.
• 저장 및 재생을 위해 사용되는 녹화 도구, 프로파일, VRS 데이터 컨테이너를 설명한다.
• 궤적, 온라인 보정, 반조밀 점 구름, 시선 추적 출력 등을 포함한 Machine Perception Services (MPS)를 상세히 설명한다.
• 실제 환경에서의 궤적 정확도(오픈 루프 vs 닫힌 루프)와 로컬라이제이션 강건성을 제시한다.
• 하드웨어 및 소프트웨어에 내재된 프라이버시 기능과 책임 있는 혁신 원칙을 개요로 제시한다.
• 평생 매핑(lifelong mapping), 자가 중심 씬 재구성, 활동 이해와 같은 예시 응용을 보여준다.

실험 결과

연구 질문

• RQ1 어떤 센서 구성과 데이터 정렬 전략이 강건한 자가 중심 인지 연구를 가능하게 하는가?
• RQ2 Machine Perception Services가 자가 중심 다중 모달 데이터로부터 정확한 궤적, 보정, 시선을 추출할 수 있는 방법은 무엇인가?
• RQ3 웨어러블 자가 중심 데이터 연구에 필요한 효과적인 프라이버시 보호책은 무엇인가?
• RQ4 Project Aria의 다중 모달 데이터셋과 도구로 어떤 연구 응용이 가능해지는가?

주요 결과

• 장치는 6-DoF 궤적을 매우 정확하게 제공하며 오픈 루프 드ift가 이동 거리의 0.4% 미만이고 닫힌 루프 RMSE 변환은 실내 규모 시나리오에서 일반적으로 1.5 cm 이내이다.
• 온라인 보정은 온도와 사용으로 인한 시점별 내재/외재를 보정하여 기하학적 정확도를 향상시킨다.
• 맞춤 보정 후 시선 추적의 중앙값 광선 오차는 약 1.5°에 도달할 수 있다.
• 반조밀 점 구름과 궤적은 자가 중심 데이터에서 직관적인 환경 이해를 가능하게 한다.
• 여러 녹화 프로파일은 센서 충실도와 전력/대역폭 제약 간의 균형을 이루어 장기 생태 데이터 수집을 촉진한다.
• MPS 출력물과 공개 데이터셋은 사용하기 쉬운 자가 중심 궤적, 보정, 시선 데이터를 제공하여 연구를 가속화한다.