[논문 리뷰] Metric Localization using Google Street View

Pratik Agarwal, Wolfram Burgard외 1명|arXiv (Cornell University)|2015. 03. 14.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 9

한 줄 요약

이 논문은 글로벌 기준으로 Google 스트리트 뷰 파노라마를 사용하는 메트릭 로컬라이제이션 방법을 제안한다. 단일 카메라 영상 스트림에서 3차원 특징점을 추정하고, 비선형 최소 제곱 최적화를 통해 이를 파노라마에 정렬한다. 이 방법은 사전 환경 지ap핑이나 GPS 신호 없이도 단일 카메라 영상과 오도메트리만으로 서브미터 정확도를 달성하여 도시 환경에서 안정적인 로컬라이제이션을 가능하게 한다.

ABSTRACT

Accurate metrical localization is one of the central challenges in mobile robotics. Many existing methods aim at localizing after building a map with the robot. In this paper, we present a novel approach that instead uses geotagged panoramas from the Google Street View as a source of global positioning. We model the problem of localization as a non-linear least squares estimation in two phases. The first estimates the 3D position of tracked feature points from short monocular camera sequences. The second computes the rigid body transformation between the Street View panoramas and the estimated points. The only input of this approach is a stream of monocular camera images and odometry estimates. We quantified the accuracy of the method by running the approach on a robotic platform in a parking lot by using visual fiducials as ground truth. Additionally, we applied the approach in the context of personal localization in a real urban scenario by using data from a Google Tango tablet.

연구 동기 및 목표

• 사전 지도 제작이나 GPS 신호 없이도 로봇 및 모바일 장치의 정확한 메트릭 로컬라이제이션을 가능하게 하기 위해.
• 기존에 글로벌 지오태깅이 되어 있는 Google 스트리트 뷰 파노라마를 글로벌 위치 기준으로 활용하기 위해.
• 단일 카메라와 오도메트리와 같은 최소한의 센서 입력으로 작동하는 방법을 개발하여 저비용이고 쉽게 구현 가능하게 하기 위해.
• 반복적인 외관이나 일시적인 가림 등 도시 환경에서의 도전적인 시각 조건에서도 강력한 로컬라이제이션을 달성하기 위해.
• Google Tango와 같은 일반 소비자용 기기에서 사용 가능한 로봇 및 개인용 모바일 로컬라이제이션 시나리오에 적용 가능성을 입증하기 위해.

제안 방법

• 로컬라이제이션을 두 단계 비선형 최소 제곱 최적화 문제로 수식화한다.
• 첫 번째 단계는 시각 오도메트리와 특징 추적을 이용해 짧은 단일 카메라 영상 시퀀스에서 추적된 특징의 3차원 위치를 추정한다.
• 두 번째 단계는 추정된 3차원 점들과 지오태깅된 스트리트 뷰 파노라마 사이의 6-DOF 강체 변환을 계산한다.
• 지상에서의 특징 추적 성능을 향상시키기 위해 거울이 장착된 프리즘을 사용하여, Tango 기기에서 안정적인 시각-관성 오도메트리 구현을 가능하게 한다.
• 장소 인식은 간단한 백오브워즈 접근 방식을 통해 현재 카메라 뷰와 일치하는 후보 파노라마를 식별한다.
• 최종 자세 추정치는 카메라 궤적과 선택된 스트리트 뷰 파노라마 간 최적화된 변환에서 유도된다.

실험 결과

연구 질문

• RQ1 도시 환경에서 메트릭 로컬라이제이션의 신뢰할 수 있는 글로벌 기준으로 Google 스트리트 뷰 파노라마를 사용할 수 있는가?
• RQ2 사전 지도 제작 없이 단일 카메라 영상과 오도메트리만으로 서브미터 정확도를 달성할 수 있는가?
• RQ3 반복적인 구조나 일시적인 가림 등 시각적으로 도전적인 도시 환경에서 이 방법의 강건성은 어떠한가?
• RQ4 Google Tango와 같은 일반 소비자용 이동 장치에 최소한의 하드웨어 수정으로 효과적으로 구현 가능한가?
• RQ5 두 단계 최적화 전략은 단일 단계 접근 방식보다 더 나은 수렴성과 정확도를 제공하는가?

주요 결과

• 지상 진술로 사용된 시각 피드유지 기반의 대규모 실외 주차장에서 이 방법은 서브미터 정확도를 달성했다.
• 프라이부르크의 GPS가 작동하지 않는 터널 환경을 포함한 도시 시나리오에서, 시스템은 스트리트 뷰와 시각 오도메트리만으로 기기의 위치를 성공적으로 추정했다.
• 비슷한 외관을 가진 주거 지역에서 기기의 위치를 정확히 추정하여, 모호한 시각적 단서에 대한 강건성을 입증했다.
• 프랑스 마르코르시에의 주요 도로에서, 높은 교통량과 동적인 조건에도 불구하고 카메라 궤적을 가장 가까운 스트리트 뷰 파노라마에 성공적으로 매칭했다.
• 프리즘 장착 카메라의 사용은 지면에서의 특징 추적 안정성을 향상시켜, Tango 기기에서 신뢰할 수 있는 시각-관성 오도메트리를 가능하게 했다.
• 두 단계 최적화 접근 방식은 짧은 기준거리와 약한 특징 안정성 조건에서도 정확한 6-DOF 자세로 수렴할 수 있도록 안정적인 初기 해를 제공했다.