[논문 리뷰] To Know Where We Are: Vision-Based Positioning in Outdoor Environments

Kuan‐Wen Chen, Chun-Hsin Wang외 5명|arXiv (Cornell University)|2015. 06. 19.

Robotics and Sensor-Based Localization참고 문헌 5인용 수 4

한 줄 요약

이 논문은 IoT 프레임워크 내에서 저비용 단안 카메라를 사용하여 실외 환경에서 시각 기반 자가 위치 측정 시스템을 제안한다. 계산 부담을 줄이기 위해 가중치가 부여된 k-커버 모델 압축 알고리즘을 도입하고, 장기적인 환경 변화를 처리하기 위한 모델 업데이트 메커니즘을 제공하여, 한 달 동안 수집한 14,275장의 대규모 장기 데이터셋에서 평균 위치 측정 정확도 30.9 cm, 표준편차 15.4 cm를 달성한다.

ABSTRACT

Augmented reality (AR) displays become more and more popular recently, because of its high intuitiveness for humans and high-quality head-mounted display have rapidly developed. To achieve such displays with augmented information, highly accurate image registration or ego-positioning are required, but little attention have been paid for out-door environments. This paper presents a method for ego-positioning in outdoor environments with low cost monocular cameras. To reduce the computational and memory requirements as well as the communication overheads, we formulate the model compression algorithm as a weighted k-cover problem for better preserving model structures. Specifically for real-world vision-based positioning applications, we consider the issues with large scene change and propose a model update algorithm to tackle these problems. A long- term positioning dataset with more than one month, 106 sessions, and 14,275 images is constructed. Based on both local and up-to-date models constructed in our approach, extensive experimental results show that high positioning accuracy (mean ~ 30.9cm, stdev. ~ 15.4cm) can be achieved, which outperforms existing vision-based algorithms.

연구 동기 및 목표

• 증강현실(AR) 응용의 증가에도 불구하고 실외 환경에서 고정확도 자가 위치 측정 솔루션의 부족을 해결한다.
• 도심 및 복잡한 실외 환경에서 GPS와 LiDAR와 같은 고비용 센서의 한계를 극복한다.
• 모바일 및 웨어러블 IoT 기기에서 사용 가능한 실용적이고 저비용의 시각 기반 위치 측정 시스템을 개발한다.
• 장기적인 환경 변화로 인한 모델 노후화 문제를 해결하고 대규모 모델 구축의 과제를 해결한다.
• 모델 업데이트 메커니즘을 도입하여 장기적이고 적응형 위치 측정을 가능하게 하고, 종합적인 장기 데이터셋을 공개한다.

제안 방법

• 모델 압축을 가중치가 부여된 k-커버 문제로 수식화하여, 모델 크기와 계산 비용을 최소화하면서도 구조적 무결성을 유지한다.
• 학습 단계 동안 차량에서 촬영한 이미지를 이용해 구조-에서-운동(SfM) 알고리즘을 사용해 국소 3D 포인트 클라우드 모델을 구축한다.
• 자신의 위치를 추정하기 위해 근사적인 GPS 추정치를 기반으로 사전에 구축된 국소 3D 모델을 다운로드하여 실시간 매칭을 가능하게 한다.
• 이미지-모델 매칭에 SIFT 특징을 사용하고, 위치 측정 결과의 시간적 스무딩을 위해 칼만 필터를 적용한다.
• 최근에 확보한 이미지를 활용해 기존 모델을 지속적으로 개선하고 적응시키는 자동 모델 업데이트 알고리즘을 구현한다.
• 다양한 사용자가 수집한 클라우드 기반 데이터를 활용하여 모델 풀 내의 장면 모델을 구축하고 지속적으로 향상시킨다.

실험 결과

연구 질문

• RQ1 저비용 단안 카메라만을 사용하여 실생활 실외 환경에서 1미터 이내의 정확도를 달성할 수 있는 시각 기반 위치 측정 시스템은 가능한가?
• RQ2 모델 압축은 어떻게 최적화될 수 있으며, 장면의 구조를 유지하면서 계산 및 메모리 오버헤드를 최소화할 수 있는가?
• RQ3 모델 업데이트 메커니즘이 변화가 많은 실외 환경에서 장기적인 위치 측정 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 특히 야간 조건에서, 다양한 조도, 날씨 및 일출/일몰 시간대 조건에서 시스템의 성능은 어떠한가?
• RQ5 제안된 접근 방식은 고정밀 이미지 레지istration이 요구되는 실용적인 AR 응용 분야를 지원할 수 있는가?

주요 결과

• 제안된 시스템은 한 달 동안 수집한 14,275장의 이미지로 구성된 장기 데이터셋에서 평균 위치 오차 30.9 cm, 표준편차 15.4 cm의 정확도를 달성한다.
• 가중치가 부여된 k-커버 수식을 통한 모델 압축은 모델 크기를 효과적으로 줄이면서도 높은 정확도를 유지하고 장면 구조를 보존한다.
• 고정된 모델 대비 모델 업데이트 메커니즘이 성능 향상에 크게 기여하며, 일부 테스트 세션(예: M3/4 14:30)에서 정확도가 최대 100배 향상된다.
• 어두운 조도 조건(예: 야간 영상)에서는 정확도가 떨어지므로 야간 성능은 여전히 도전 과제로 남아 있다.
• 예측된 카메라 포즈를 기반으로 가상 정보를 실제 장면에 정확하게 투영하여 성공적으로 가상현실 표시 정렬을 구현하였다.
• 106개 세션, 14,275장의 이미지로 구성된 장기적이고 다중 세션의 실외 위치 측정 데이터셋을 공개하여, 향후 시각 기반 위치 측정 분야의 연구에 유용한 기준 자료를 제공한다.