[논문 리뷰] Aerial Map-Based Navigation Using Semantic Segmentation and Pattern Matching

Youngjoo Kim|arXiv (Cornell University)|2021. 07. 01.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 4

한 줄 요약

이 논문은 공개된 지ap 데이터베이스를 활용하여 GNSS가 비활성화된 조건에서도 고정밀 수평 위치 추정이 가능한 강건한 지도 기반 항공기 자율 주행 시스템을 제안한다. 항공사진에서 의미적 세분화를 통해 고수준의 객체 레이블(예: 도로, 건물)을 추출하고, 지도 데이터베이스와의 레이블 기반 패턴 매칭을 통해 절대 수평 위치를 추정한다. 이 방법은 카메라 모델이나 고도 정보 없이도 시뮬레이션에서 미터 이내 정확도를 달성하여 실제 센서 및 처리 오차 조건 하에서도 실현 가능함을 입증한다.

ABSTRACT

This paper proposes a novel approach to map-based navigation system for unmanned aircraft. The proposed system attempts label-to-label matching, not image-to-image matching, between aerial images and a map database. The ground objects can be labelled by deep learning approaches and the configuration of the objects is used to find the corresponding location in the map database. The use of the deep learning technique as a tool for extracting high-level features reduces the image-based localization problem to a pattern matching problem. This paper proposes a pattern matching algorithm that does not require altitude information or a camera model to estimate the absolute horizontal position. The feasibility analysis with simulated images shows the proposed map-based navigation can be realized with the proposed pattern matching algorithm and it is able to provide positions given the labelled objects.

연구 동기 및 목표

• 공개된 지도 데이터베이스를 활용한 무인 항공기용 강력한 GNSS 비활성 주행 시스템 개발
• 조명, 척도, 계절 변화 등의 영향을 받는 시각 주행 기반 매칭 기술의 한계를 극복하기 위해
• 고해상도 DEM이나 고비용 고도계에 대한 의존도를 줄이기 위해 원시 이미지 픽셀 대신 의미적 레이블을 사용함으로써
• 딥러닝으로 추출한 특징을 활용해 이미지 매칭 문제를 패턴 매칭 문제로 변환함으로써 효율적이고 확장 가능한 주행을 가능하게 하기 위해
• 시뮬레이션된 데이터를 활용해 실제 센서 및 처리 오차 조건 하에서 제안된 방법의 실현 가능성을 검증하기 위해

제안 방법

• 항공사진 및 지도 데이터베이스에서 지상 객체(예: 도로, 건물)를 의미적 세분화를 통해 레이블링하고, 고수준의 공간 구성 정보를 추출한다.
• 이미지와 지도 간의 이미지-이미지 매칭이 아닌, 레이블링된 객체 구성 간의 패턴 매칭으로 위치 추정 문제를 다룬다.
• 카메라 모델이나 고도 정보 없이도 상대적인 객체 간 공간 관계를 이용해 절대 수평 위치를 추정하는 패턴 매칭 알고리즘을 적용한다.
• 거짓 긍정과 기각을 균형 있게 조절하기 위해 N_min(최소 매칭 점 수), δθ(각도 임계값), δr(거리 임계값) 등의 매개변수를 사용하는 임계값 기반 매칭 전략을 적용한다.
• 실제 오차를 시뮬레이션하기 위해 자세 오차(기울기/기울기), 픽셀 수준의 위치 오차, 다양한 시야각(FOV)을 고려하여 강건성 테스트를 수행한다.
• 500개의 랜덤 진짜 위치를 활용한 몬테카를로 시뮬레이션을 통해 다양한 오차 및 FOV 조건에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 항공사진과 지도 데이터베이스 간의 레이블 기반 패턴 매칭이 GNSS 없이도 신뢰할 수 있는 절대 수평 위치 추정을 가능하게 하는가?
• RQ2 시뮬레이션 비행 조건에서 자세 오차, 픽셀 수준의 위치 노이즈, 다양한 시야각에 대해 제안된 방법이 얼마나 강건한가?
• RQ3 검출된 레이블링된 객체 수를 늘릴수록 매칭 성공률은 얼마나 향상되고 추정 오차는 얼마나 감소하는가?
• RQ4 실제 센서 및 처리 오차 조건 하에서도 정확도와 낮은 거짓 긍정 비율을 유지할 수 있는가?
• RQ5 카메라 모델이나 고도 정보 없이도 위치 추정 성능이 상당히 떨어지는가?

주요 결과

• 패턴 매칭 알고리즘이 시뮬레이션에서 수미터 이내의 수평 위치 추정 오차를 달성했으며, 최고의 경우 0.15° 자세 오차로 인해 오직 0.26m의 오차를 기록했다.
• 35° 시야각과 표준 오차 수준(0.05° 자세 오차, 1픽셀 픽셀 오차)에서, 매칭 기각률은 4.4%이며 거짓 긍정률은 1.8%로 나타나 강력한 강건성을 입증했다.
• 픽셀 오차를 3픽셀으로 증가시키자 거짓 긍정률이 증가(3번 케이스에서 12.4%로 상승)했지만, 지역별 사전 지식을 활용해 이를 완화할 수 있었다.
• 더 큰 시야각(45°)은 객체 수를 약 17개에서 약 34개로 증가시켜 기각률을 0%로 낮추고 거짓 긍정률도 1.8%로 유지했으며, 높은 픽셀 오차 조건에서도 유리했다.
• 자세 오차는 상대적인 레이블링된 객체 구성이 작은 기울기/기울기 변화 범위 내에서 안정되어 있기 때문에 매칭 성능에 거의 영향을 주지 않았다.
• 이 방법은 원시 이미지 데이터를 소용돌이치는 노이즈에 강건한 의미적 레이블로 압축함으로써 실시간, 저복잡도 주행의 실현 가능성을 입증했다.