[논문 리뷰] Here To Stay: Measuring Hologram Stability in Markerless Smartphone Augmented Reality

Tim Scargill, Jiasi Chen외 1명|arXiv (Cornell University)|2021. 09. 29.

Augmented Reality Applications인용 수 7

한 줄 요약

이 논문은 마커리스 스마트폰 AR에서 허브리드 로컬라이제이션 드리프트와 재로컬라이제이션 시간을 정량적으로 측정하기 위한 오픈소스 앱인 HoloMeasure를 제안한다. ARKit와 ARCore와 같은 VI-SLAM 기반 플랫폼을 사용하여 200개 이상의 실내 환경에서 안정성에 대한 평가를 수행한 결과, 일반적인 사용자 동작 상황에서 상당한 드리프트(종종 >5cm)가 발생함을 확인하여 현재 자세 추적 기술이 안정적인 AR 경험을 구현하는 데에 핵심적인 한계를 지닌다는 점을 드러냈다.

ABSTRACT

Markerless augmented reality (AR) has the potential to provide engaging experiences and improve outcomes across a wide variety of industries; the overlaying of virtual content, or holograms, onto a view of the real world without the need for predefined markers provides great convenience and flexibility. However, unwanted hologram movement frequently occurs in markerless smartphone AR due to challenging visual conditions or device movement, and resulting error in device pose tracking. We develop a method for measuring hologram positional errors on commercial smartphone markerless AR platforms, implement it as an open-source AR app, HoloMeasure, and use the app to conduct systematic quantitative characterizations of hologram stability across 6 different user actions, 3 different smartphone models, and over 200 different environments. Our study demonstrates significant levels of spatial instability in holograms in all but the simplest settings, and underscores the need for further enhancements to pose tracking algorithms for smartphone-based markerless AR.

연구 동기 및 목표

• 실제 환경 조건에서 마커리스 스마트폰 AR 허브리드의 공간적 불안정성을 체계적으로 측정하기 위해.
• 기기 이동 및 환경적 요인이 허브리드 드리프트와 재로컬라이제이션 시간에 미치는 영향을 규명하기 위해.
• 다양한 환경에서 재현 가능하고 정량적인 AR 안정성 평가를 위한 도구(HoloMeasure)를 개발하고 오픈소스로 공개하기 위해.
• 현재 스마트폰 AR 플랫폼이 비이상적인 환경에서 상당한 불안정성을 보이며 사용자 경험을 떨어뜨린다는 점을 입증하기 위해.
• 실증 데이터를 제공함으로써 VI-SLAM 알고리즘 향상 및 AR 애플리케이션 설계 향상을 위한 향후 개선 방향을 제시하기 위해.

제안 방법

• 상용 스마트폰 AR 플랫폼에서 시간에 따른 기기 자세 및 허브리드 위치를 기록하기 위한 오픈소스 AR 애플리케이션인 HoloMeasure를 개발하였다.
• 6가지 사용자 동작(예: 멀리 걷기, 정지하기)과 3종의 스마트폰 모델, 200개 이상의 실내 환경에서 체계적인 실험을 수행하였다.
• 두 가지 핵심 지표를 측정하였다: 드리프트(기존 허브리드 위치와 현재 허브리드 위치 간 유클리드 거리) 및 재로컬라이제이션 시간(추적 상실 및 복구 기간 동안의 지속 시간).
• ARKit와 ARCore의 내장된 자세 추적 및 재로컬라이제이션 로깅 기능을 사용하여 실시간 기기 자세 데이터를 캡처하였다.
• 조명, 표면 텍스처, 카메라 시점 조건의 변화를 고려하여 환경적 영향을 평가하기 위해 데이터를 수집하였다.
• 환경적 특성(예: 텍스처, 반사성, 조도)과 불안정성 지표 간의 상관관계를 분석하기 위해 결과를 분석하였다.

실험 결과

연구 질문

• RQ1 마커리스 스마트폰 AR에서 다양한 사용자 동작(예: 멀리 걷기, 정지하기) 상황에서 허브리드 드리프트가 어떻게 변화하는가?
• RQ2 표면 텍스처, 조도, 반사성 등의 환경적 요인이 허브리드 안정성에 어떤 영향을 미치는가?
• RQ3 재로컬라이제이션 시간이 일시적인 추적 상실 기간 동안 가상 콘텐츠의 인식적 안정성에 어떤 영향을 미치는가?
• RQ4 기기 모델(예: iPhone 11 대비 안드로이드 기기 변종)이 드리프트 크기와 재로컬라이제이션 행동에 어느 정도 영향을 미치는가?
• RQ5 표준화된 오픈소스 도구인 HoloMeasure는 다양한 실제 환경에서 일관되고 대규모의 AR 안정성 평가를 가능하게 하는가?

주요 결과

• 테스트된 환경의 절반 이상에서 허브리드 드리프트가 5cm를 초과하여 실제 사용 환경에서 상당한 공간적 불안정성이 있음을 시사한다.
• 기기 이동 또는 카메라 가림 상황에서 재로컬라이제이션 시간이 자주 관측되어 일시적이지만 혼란스러운 허브리드 이동을 유발한다.
• 텍스처가 없는, 저대비 또는 반사성이 높은 환경에서 드리프트가 가장 두드러지며, 이러한 환경은 실내 건축 공간에서 흔히 볼 수 있다.
• 밝고 텍스처가 풍부한 환경에서도 드리프트 수준이 30퍼센트 이상의 경우 2cm를 초과하여 자세 추정의 지속적인 과제임을 시사한다.
• 본 연구는 스마트폰 AR 플랫폼(ARKit/ARCore)이 일반적인 사용자 행동 조건에서 상당한 불안정성을 보이며 지속적인 가상 객체의 환영을 해친다는 점을 확인하였다.
• 결과는 실용적인 AR 응용 프로그램을 위한 안정성 향상을 위해 향상된 VI-SLAM 알고리즘과 환경 인식 기술이 긴급히 필요하다는 점을 강조한다.