[논문 리뷰] An Improved Tracking using IMU and Vision Fusion for Mobile Augmented Reality Applications

Kriti Kumar, Ashley Varghese외 5명|arXiv (Cornell University)|2014. 11. 10.

Robotics and Sensor-Based Localization참고 문헌 14인용 수 11

한 줄 요약

이 논문은 개선된 보완 필터와 적응형 칼만 필터를 사용하여 관성 측정 장치(IMU)와 시각 데이터를 융합함으로써 모바일 증강현실(MAR)을 위한 향상된 마커리스 추적 시스템을 제안한다. 이 방법은 준비되지 않은 환경에서도 강인하고 실시간 자세 추정을 달성하며, 실험 결과 차량 손상 평가 응용 사례에서 기존 방법에 비해 향상된 정확도와 안정성을 보여준다.

ABSTRACT

Mobile Augmented Reality (MAR) is becoming an important cyber-physical system application given the ubiquitous availability of mobile phones. With the need to operate in unprepared environments, accurate and robust registration and tracking has become an important research problem to solve. In fact, when MAR is used for tele-interactive applications involving large distances, say from an accident site to insurance office, tracking at both the ends is desirable and further it is essential to appropriately fuse inertial and vision sensors data. In this paper, we present results and discuss some insights gained in marker-less tracking during the development of a prototype pertaining to an example use case related to breakdown or damage assessment of a vehicle. The novelty of this paper is in bringing together different components and modules with appropriate enhancements towards a complete working system.

연구 동기 및 목표

• 준비되지 않은 실제 환경에서 운영되는 모바일 증강현실(MAR) 응용 프로그램에서 정확하고 강인한 자세 추적 문제를 해결하기 위해.
• 사고 현장에서 보험 사무소까지의 원격 차량 손상 평가와 같은 원격 상호작용 MAR 응용 프로그램의 양단에서 신뢰할 수 있는 추적을 가능하게 하기 위해.
• 마커리스 추적을 위한 향상된 IMU 및 시각 융합 모듈을 통합한 완전한 시스템을 개발하기 위해.
• 운동 조건이 동적으로 변화하는 상황에 맞게 필터링 기법을 적응시켜 추적 안정성과 정확도를 향상시키기 위해.

제안 방법

• 시스템은 짧은 시간대의 IMU 정확성과 긴 시간대의 시각적 안정성을 조합하기 위해 보완 필터를 사용하여 IMU와 단안 카메라의 데이터를 융합한다.
• 운동 특성에 따라 추정 과정을 동적으로 조정할 수 있도록 적응형 칼만 필터를 적용하여 급격한 움직임 중에서도 강인성을 향상시킨다.
• 저항력 있는 특징 검출 및 매칭 파이프라인을 통해 마커리스 환경에서도 연속성을 유지한다.
• 드리프트를 최소화하고 자세 추정을 향상시키기 위해 실시간으로 센서 데이터를 타이트하게 결합하는 프레임워크를 통합한다.
• 누적 오차를 보정하기 위한 피드백 메커니즘을 포함한 새로운 융합 전략이 관성 및 시각 측정값을 결합한다.

실험 결과

연구 질문

• RQ1 준비되지 않은 환경에서 안정적이고 정확한 추적을 달성하기 위해 관성 및 시각 센서 데이터를 어떻게 효과적으로 융합할 수 있는가?
• RQ2 다이나믹한 모바일 AR 시나리오에서 IMU와 시각 데이터의 노이즈 특성을 가장 잘 균형 잡는 필터링 전략은 무엇인가?
• RQ3 고다이나믹 운동 상황에서 고정 이득 필터에 비해 적응형 칼만 필터가 추적 강인성을 향상시킬 수 있는가?
• RQ4 제안된 융합 방법이 마커리스 MAR 응용 프로그램에서 드리프트를 얼마나 줄이고 자세 추정 정확도를 향상시키는가?

주요 결과

• 제안된 융합 방법은 단독 IMU 또는 시각 추적에 비해 자세 드리프트를 크게 감소시켜 장기적인 추적 안정성을 향상시킨다.
• 빠른 운동 변화 상황에서 적응형 칼만 필터는 고정 이득 필터보다 우수한 성능을 보이며, 다이나믹한 주행 조건에서도 추정 정확도를 향상시킨다.
• 시스템은 모바일 디바이스에서 실시간 성능을 달성하여 원격 상호작용 MAR 응용 프로그램에 실용적인 구현을 가능하게 한다.
• 향상된 특징 추적과 센서 융합의 통합은 저텍스처 또는 조명 조건 변화가 있는 상황에서도 일관되고 신뢰할 수 있는 자세 추정을 가능하게 한다.