[논문 리뷰] Visual Localization for Autonomous Driving: Mapping the Accurate Location in the City Maze

Dongfang Liu, Yiming Cui외 4명|arXiv (Cornell University)|2020. 08. 13.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 7

한 줄 요약

이 논문은 앞쪽, 왼쪽, 오른쪽 카메라 시야를 사용하여 도심 환경에서 GPS 신호가 빛간 곳에서 정확도를 향상시키는 삼방향 시각적 현지화 시스템을 제안한다. 여러 시야에서 특징 투표를 활용하고 Google 스트리트 뷰 데이터를 기반으로 한 자동화된 파이프라인을 통해, 다리 아래나 높은 건물 근처와 같이 도전적인 조건에서도 강력한 현지화 성능을 달성하며, 앞쪽 시야만 사용하는 기존 방법보다 뚜렷이 뛰어나다.

ABSTRACT

Accurate localization is a foundational capacity, required for autonomous vehicles to accomplish other tasks such as navigation or path planning. It is a common practice for vehicles to use GPS to acquire location information. However, the application of GPS can result in severe challenges when vehicles run within the inner city where different kinds of structures may shadow the GPS signal and lead to inaccurate location results. To address the localization challenges of urban settings, we propose a novel feature voting technique for visual localization. Different from the conventional front-view-based method, our approach employs views from three directions (front, left, and right) and thus significantly improves the robustness of location prediction. In our work, we craft the proposed feature voting method into three state-of-the-art visual localization networks and modify their architectures properly so that they can be applied for vehicular operation. Extensive field test results indicate that our approach can predict location robustly even in challenging inner-city settings. Our research sheds light on using the visual localization approach to help autonomous vehicles to find accurate location information in a city maze, within a desirable time constraint.

연구 동기 및 목표

• 다리 아래나 높은 건물 사이와 같이 기존 GPS가 실패하는 도심 밀도 지역에서의 GPS 신호 감쇠 문제를 해결하기 위해.
• 앞쪽 시야 이미지에만 의존하는 것 대신 앞쪽, 왼쪽, 오른쪽 등 다방향 시야를 통합하여 시각적 현지화 정확도를 향상시키기 위해.
• Google 스트리트 뷰를 활용해 GPS 태그가 부착된 이미지 데이터를 자동으로 수집, 주석 처리 및 관리하는 파이프라인을 개발하여 비용과 복잡성을 줄이기 위해.
• 장면의 동적 특성(예: 빠른 움직임 대비 느린 움직임)에 따라 다양한 시야의 기여도를 적응적으로 가중치 조정하는 특징 투표 메커니즘을 도입하기 위해.
• 향후 자율 주행 차량의 현지화 연구를 위한 공개 가능한 GPS 태그가 부착된 시각적 현지화 데이터셋을 제공하기 위해.

제안 방법

• Google 스트리트 뷰를 활용해 앞쪽, 왼쪽, 오른쪽 시야를 360도 구형 이미지에서 추출함으로써 GPS 태그가 부착된 이미지 라이브러리를 구축한다.
• 각 시야에서 추출한 局부 특징을 통합하기 위해 특징 투표 기법을 도입하며, 각 시야가 최종 위치 예측에 기여하는 정도는 적응형 가중치에 따라 결정된다.
• 적응형 가중치 $\alpha$는 왼쪽 및 오른쪽 시야의 영향력을 제어하며, $\alpha = 1$일 경우 앞쪽 시야를 우선시하고 $\alpha = 0$일 경우 오직 측면 시야에 의존한다.
• 최신 시각적 현지화 네트워크(예: SARE 등)를 다중 시야 입력을 수용하도록 수정하고, 기준 라이브러리와의 특징 매칭을 수행한다.
• 운동 IoU를 사용해 도로 경로를 '빠른 움직임'(예: 높은 건물 근처) 또는 '느린 움직임'(개방된 지역)으로 분류하여 동적 가중치 조정을 가능하게 한다.
• 위치 예측은 투표 비용이 가장 낮은 기준 이미지를 선택함으로써 결정되며, 이 이미지의 GPS 태그를 예측 위치로 사용한다.

실험 결과

연구 질문

• RQ1 앞쪽, 왼쪽, 오른쪽 등 다방향 시각적 특징을 활용할 경우, 앞쪽 시야만 사용하는 방법에 비해 GPS가 차단된 도심 환경에서 현지화 정확도가 향상되는가?
• RQ2 왼쪽 및 오른쪽 시야의 적응형 가중치 조정이 다양한 도심 도로 환경에서 현지화 성능에 어떤 영향을 미치는가?
• RQ3 Google 스트리트 뷰 데이터를 활용할 경우, GPS 태그가 부착된 시각적 현지화 데이터베이스를 구축하는 데 드는 비용과 복잡성이 얼마나 감소하는가?
• RQ4 다리 아래, 터널, 혹은 고밀도 고층 빌딩 군집 근처와 같은 도전적인 조건에서 시스템의 성능은 어떠한가?
• RQ5 저녁, 비, 눈 등 다양한 기상 및 조명 조건에서도 제안된 방법이 일반화 가능한가?

주요 결과

• 제안된 삼시각 방법은 앞쪽 시야만 사용하는 방법에 비해 특히 다리 아래나 높은 건물 근처와 같은 GPS가 차단된 도심 환경에서 현지화 정확도를 크게 향상시킨다.
• 가중치 $\alpha$를 1에서 0.4(또는 SARE의 경우 0.5)로 감소시킬수록 평균 정밀도(AP)가 점진적으로 증가함을 확인하여, 측면 시야가 현지화의 강건성을 높이는 데 기여함을 입증한다.
• 빠른 도로 환경(예: 높은 건물 근처)에서는 $\alpha \approx 0.3$일 때 최적의 성능을 달성하고, 느린 환경(개방된 지역)에서는 $\alpha \approx 0.6$일 때 최고 성능을 기록한다.
• 현장 테스트를 통해 GPS 신호가 완전히 차단된 상황에서도 정확한 위치 예측을 유지함을 입증하였으며, 특히 지하철 다리 아래나 고층 빌딩 간 골목(스카이시티 캐년)에서 성능이 뛰어나다.
• 왼쪽 및 오른쪽 시야만 사용하는 경우($\alpha = 0$)에도 앞쪽 시야만 사용하는 경우($\alpha = 1$)보다 성능이 뛰어나며, 이는 측면 시야가 고유하고 유용한 현지화 단서를 제공함을 시사한다.
• 다양한 도심 환경에서 뛰어난 성능을 기록하며, GPS가 신뢰할 수 없을 때에도 위치 예측이 실제 궤적을 정확히 따라가는 경향을 보였다.