[논문 리뷰] Instant Motion Tracking and Its Applications to Augmented Reality

Jianing Wei, Genzhi Ye외 4명|arXiv (Cornell University)|2019. 07. 16.

Augmented Reality Applications참고 문헌 16인용 수 6

한 줄 요약

이 논문은 캘리브레이션 불필요하고 실시간으로 동작하는 모바일 기기용 증강현실을 위한 운동 추적 시스템을 제안한다. 공유된 운동 분석 모듈을 통해 초기화나 병진도 요구 없이 견고한 평면 대상 추적 및 상대 척도 6DoF 추적을 가능하게 한다. 시스템은 시각적 영역 추적과 관성 센서 데이터(자이로스코프 및 가속도계)를 융합하여, 수억 대의 기기에서 평균 27.5 FPS의 성능으로 즉각적인 정확한 AR 콘텐츠 배치를 구현한다.

ABSTRACT

Augmented Reality (AR) brings immersive experiences to users. With recent advances in computer vision and mobile computing, AR has scaled across platforms, and has increased adoption in major products. One of the key challenges in enabling AR features is proper anchoring of the virtual content to the real world, a process referred to as tracking. In this paper, we present a system for motion tracking, which is capable of robustly tracking planar targets and performing relative-scale 6DoF tracking without calibration. Our system runs in real-time on mobile phones and has been deployed in multiple major products on hundreds of millions of devices.

연구 동기 및 목표

• 사용자 운동을 통한 초기화가 필요 없이 즉각적이고 캘리브레이션 불필요한 모바일 기기용 AR 콘텐츠 배치를 가능하게 하기 위해.
• 평면 환경, 순수한 회전, 사용자 운동이 없는 경우와 같은 열악한 추적 상황을 해결하기 위해.
• 시각적 이동과 관성 센서를 통한 자세 추정을 통해 임의의 물체에 대해 견고한 6DoF 추적을 달성하기 위해.
• 다양한 모바일 하드웨어에서 고성능과 높은 확장성을 확보한 실시간 성능을 지원하기 위해.

제안 방법

• 운동 분석 모듈은 특징을 추출하고 시간에 따라 추적하며, 이를 전경 또는 배경으로 분류하고, 데이터에 가장 잘 맞는 최고의 자유도 모델(2DoF에서 8DoF까지)을 사용해 시간에 따라 일관된 카메라 운동 모델을 추정한다.
• 영역 추적은 가중치가 부여된 운동 벡터에 대해 반복적으로 가중 최소 제곱법(Iteratively Reweighted Least Squares, IRLS)을 적용하여 파arametric 모델을 피팅함으로써, 프레임 간에 안정적인 영역 추적을 가능하게 한다.
• 평면 대상 추적을 위해, 동차변환 대신 투영 변환을 사용하여 왜곡을 방지하고, 레벤버그-마르카르트 최적화를 통해 3D 강체 변환을 해결한다.
• 6DoF 추적을 위해, 투영 카메라 모델을 기반으로 시각적 영역 운동으로부터 이동을 추정하고, 자세는 기기의 자이로스코프로부터 직접 취득한다.
• 시각적 이동 추정치와 관성 자세 데이터를 융합하며, 가속도계를 사용해 初기 자세 정렬을 위한 '위' 방향을 추정한다.
• 초기화 시 정준 전역 자세를 계산함으로써, 영역이 시야에서 사라졌다가 재등장하더라도 일관된 자세 추정이 가능하다.

실험 결과

연구 질문

• RQ1 캘리브레이션 또는 초기화 없이도 임의의 물체에 대해 견고한 6DoF 자세 추정을 달성할 수 있는가?
• RQ2 왜곡을 유발하는 동차변환으로 인한 왜곡을 줄이기 위해 평면 대상 추적을 어떻게 더 정확하고 내성적으로 만들 수 있는가?
• RQ3 시각적 데이터와 관성 데이터를 효과적으로 융합하여 모바일 기기에서 실시간으로 캘리브레이션 불필요한 6DoF 추적을 가능하게 할 수 있는가?
• RQ4 순수한 회전이나 평면 환경 등의 열악한 상황에서도 추적을 어떻게 견고하게 유지할 수 있는가?
• RQ5 이러한 시스템은 실제 AR 응용 프로그램에서 다양한 모바일 하드웨어에서 성능과 확장성은 어떠한가?

주요 결과

• 415대 이상의 다양한 모바일 기기에서 평균 27.5 FPS로 실시간 성능을 달성하여 주요 AR 응용 프로그램에서 확장 가능한 배포가 가능하다.
• 동차변환 대신 투영 변환을 사용함으로써 평면 대상 추적에서 왜곡을 크게 줄였고, 시간이 지남에 따라 기하학적 정확도를 유지한다.
• 시각적 이동 추정치와 관성 자세 데이터 융합을 통해 캘리브레이션 없이도 견고한 6DoF 추적을 실현하였으며, 어떤 표면에도 즉각적인 AR 콘텐츠 배치를 지원한다.
• 영역이 카메라의 시야를 벗어나도 이동하거나 정지해 있더라도 추적을 유지할 수 있으며, 재획득 기능이 있다.
• 평면 환경, 순수한 회전, 최소한의 사용자 운동 등의 열악한 상황에서도 전통적인 SLAM 및 동차변환 기반 접근 방식보다 뛰어난 성능을 보였다.
• 수억 대의 기기에서 실전에 배포되어 실제 AR 사용 사례에서 높은 신뢰성과 확장성을 입증했다.