[논문 리뷰] Find your Way by Observing the Sun and Other Semantic Cues

Wei-Chiu Ma, Shenlong Wang외 3명|arXiv (Cornell University)|2016. 06. 23.

Robotics and Sensor-Based Localization참고 문헌 2인용 수 3

한 줄 요약

이 논문은 단일 영상에서 딥러닝을 통해 추출한 시각적 옹도메트리와 의미적 정보—해의 방향, 교차로, 도로 유형, 속도 제한—을 활용하는 GPS 없는 저비용 자율주행차 자기위치 결정 방법을 제시한다. 오픈스트리트맵 데이터를 이용해 이러한 정보를 확률 모델에 통합함으로써, 이전 기술이 실패하는 도심 환경에서도 더 빠르고 계산 비용이 적은 자기위치 결정을 가능하게 한다.

ABSTRACT

In this paper we present a robust, efficient and affordable approach to self-localization which does not require neither GPS nor knowledge about the appearance of the world. Towards this goal, we utilize freely available cartographic maps and derive a probabilistic model that exploits semantic cues in the form of sun direction, presence of an intersection, road type, speed limit as well as the ego-car trajectory in order to produce very reliable localization results. Our experimental evaluation shows that our approach can localize much faster (in terms of driving time) with less computation and more robustly than competing approaches, which ignore semantic information.

연구 동기 및 목표

• GPS 또는 사전 기록된 환경의 외관에 의존하지 않는 내구성 있고 저비용의 자기위치 결정 시스템을 개발한다.
• 반복적인 도로 구조가 있는 복잡한 도심 환경에서 자기위치 결정 시간과 계산 비용을 줄인다.
• 궤적 또는 방향에 대한 모호성이 발생할 때 시각적 옹도메트리만으로는 실패하는 상황에서의 자기위치 결정 신뢰도를 향상시킨다.
• 인간이 레이블링한 데이터가 필요 없이 오로지 무료로 이용 가능한 지도 데이터와 단일 영상만을 사용해 자기위치 결정을 가능하게 한다.
• 해의 방향, 교차로, 속도 제한과 같은 의미적 정보가 자기위치 결정의 효율성과 정확도를 크게 향상시킨다는 것을 입증한다.

제안 방법

• 입자 필터를 사용하여 단일 영상에서 유도된 의미적 정보와 시각적 옹도메트리를 융합하는 확률적 자기위치 결정 프레임워크를 구현한다.
• 그림 한 장에서 직접 해의 방향을 추정하기 위해, 그림자 검출에 의존하지 않는 컨volution 신경망(Sun-CNN)을 훈련시킨다.
• OSM와 시간대 정보를 활용하여 교차로 존재 여부, 도로 유형, 속도 제한을 추정하는 추가적인 딥러닝 모델을 개발하고, 자동 약한 지도 학습을 구현한다.
• 의미적 정보를 활용해 지ap 내 가능한 차량 위치 집합을 줄여 불확실성과 계산 부담을 감소시킨다.
• 도로의 구조를 오픈스트리트맵을 통해 정의하고, 궤적 및 의미적 관측 결과에 기반해 지도 세그먼트에 확률을 할당한다.
• 모든 의미적 레이블은 인간의 레이블링이 필요 없이 OSM 메타데이터와 시간 정보를 이용해 자동으로 생성된다.

실험 결과

연구 질문

• RQ1 해의 방향, 교차로 존재 여부, 도로 유형과 같은 의미적 정보가 GPS 없는 차량 자기위치 결정의 속도와 내구성에 기여하는가?
• RQ2 그림자 검출에 의존하지 않고 단일 영상에서 해의 방향을 추정하는 딥러닝 모델의 성능은 얼마나 뛰어나며 효과적인가?
• RQ3 밀도 높은 도심 도로 네트워크에서 의미적 정보는 계산 복잡도와 자기위치 결정 시간을 어느 정도 감소시킬 수 있는가?
• RQ4 인간의 레이블링 데이터 없이도 의미적 인식을 위한 완전한 약한 지도 학습 파이프라인은 자기위치 결정에 효과적인가?
• RQ5 시각적 옹도메트리만으로는 실패하는 상황에서 의미적 정보의 통합이 자기위치 결정을 가능하게 하는 시나리오는 어떤가?

주요 결과

• 제안된 방법은 Brubaker 등 [4]의 기준 방법보다 차량 자기위치 결정을 상당히 더 빠르게 수행하며, 주행 거리 기준으로 자기위치 결정 시간을 단축시킨다.
• 시스템은 더 높은 자기위치 결정 정확도와 내구성을 확보하여, 기준 방법이 실패하는 경우—특히 농도가 높거나 반복적인 도로 네트워크에서—성공적으로 자기위치를 결정한다.
• 해의 방향, 속도 제한, 교차로, 도로 유형 등 모든 의미적 정보를 통합할 경우 가장 빠르고 정확한 자기위치 결정을 달성하며, 옹도메트리 전용 및 부분적 정보 기반 기준 방법을 모두 능가한다.
• Sun-CNN를 통한 해의 방향 추정이 가장 강력한 초기 제약 조건을 제공하여, 태양의 방향과 일치하지 않는 도로를 신속하게 제거한다.
• 해의 방향 추정 없이도 이 방법은 기준 방법을 능가하며, 비나 흐린 날씨 조건에서도 내구성을 보여준다.
• 실패 사례 분석 결과, 의미적 정보를 통합함으로써 불확실성이 상당히 감소함을 확인하였으며, 추가로 몇 초 더 주행하는 것으로도 자기위치의 불확실성을 해소할 수 있을 것으로 보인다.