[논문 리뷰] Semantics for UGV Registration in GPS-denied Environments

Gordon Christie, Garrett Warnell외 1명|arXiv (Cornell University)|2016. 09. 15.

Vehicular Ad Hoc Networks (VANETs)참고 문헌 8인용 수 8

한 줄 요약

이 논문은 UAV가 생성한 2.5차원 정사영도와 UGV 센서로부터의 의미 분할 및 깊이 데이터를 융합하여 GPS가 사용 불가능한 도시 환경에서 무인 지상 차량(UGV)의 GPS 없는 국소화 방법을 제안한다. 의미 기반 기술자와 입자 필터를 사용함으로써 외관 및 구조적 환경 변화가 발생하더라도 5미터 이내의 국소화 정확도를 달성하며, 도전적인 조건에서 외관 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Localization in a global map is critical to success in many autonomous robot missions. This is particularly challenging for multi-robot operations in unknown and adverse environments. Here, we are concerned with providing a small unmanned ground vehicle (UGV) the ability to localize itself within a 2.5D aerial map generated from imagery captured by a low-flying unmanned aerial vehicle (UAV). We consider the scenario where GPS is unavailable and appearance-based scene changes may have occurred between the UAV's flight and the start of the UGV's mission. We present a GPS-free solution to this localization problem that is robust to appearance shifts by exploiting high-level, semantic representations of image and depth data. Using data gathered at an urban test site, we empirically demonstrate that our technique yields results within five meters of a GPS-based approach.

연구 동기 및 목표

• UAV가 생성한 2.5차원 지ap을 기준 자료로 사용하는 GPS 사용 불가 환경에서 정확한 UGV 국소화를 가능하게 하기 위해.
• UAV 비행 시점과 UGV 임무 시점 사이의 외관 기반 환경 변화(예: 계절에 따른 식생 변화) 및 구조적 변화(예: 이동하는 물체)에 대응하기 위해.
• GPS나 사전 지ap 지식에 의존하지 않고 이미지, 라이다, 오도메트리 데이터만을 사용하여 강건하고 실시간 국소화 시스템을 개발하기 위해.
• 저수준 이미지 특징 대신 고수준 의미적 표현을 활용하여 국소화 정확도를 향상시키기 위해.
• 의미적 추론을 통해 UGV와 UAV의 좌표계를 정렬함으로써 다중 로봇 협업을 가능하게 하기 위해.

제안 방법

• 저공 비행 UAV 영상과 깊이 데이터를 기반으로 2.5차원 정사영도를 생성하여 환경의 기준 지도를 만든다.
• 항공 및 UGV 데이터 양쪽에 의미 분할을 적용하여 픽셀과 3차원 점을 카테고리(예: 잔디, 도로, 건물)로 분류함으로써 원시 색상 데이터를 고수준의 장면 표현으로 대체한다.
• 의미 레이블과 범위 데이터(LiDAR에서 유도)를 기반으로 기준 지도의 통행 가능한 픽셀 및 UGV 센서 관측치를 표현하는 기술자를 구성한다.
• UGV 관측치와 정사영도 상의 각 통행 가능한 픽셀 간의 기술자 유사도 점수를 계산하여 UGV의 잠재적 위치를 추정한다.
• 입자 필터는 이러한 점수를 활용하여 오도메트리와 공간 일관성을 고려하면서 UGV의 추정 자세를 반복적으로 개선한다.
• 표면 유형 예측(도로 대비 잔디)을 통해 불확실한 영역을 억제하기 위해, 표면 카테고리가 일치하지 않는 영역의 점수를 0으로 설정한다.

실험 결과

연구 질문

• RQ1 UAV가 생성한 지도로부터의 의미적 및 깊이 데이터만을 사용하여, GPS 사용 불가 도시 환경에서 UGV가 정확한 국소화를 달성할 수 있는가?
• RQ2 의미적 표현은 계절에 따른 식생 이동 등의 외관 기반 환경 변화에 대해 어떻게 강건성을 향상시키는가?
• RQ3 의미적 및 깊이 기술자 기반 방법은 외관 기반 방법에 비해 소규모 구조적 환경 변화(예: 이동한 물체)를 얼마나 잘 처리할 수 있는가?
• RQ4 의미적 추론 통합이 실시간 UGV 주행에서 국소화 정확도 향상과 불확실성 감소에 어떤 영향을 미치는가?
• RQ5 의미 기반 기술자를 사용하는 입자 필터는 GPS 없이도 5미터 이내의 국소화 오차를 달성할 수 있는가?

주요 결과

• 제안된 범위-의미 기반 접근법은 GPS 기준으로 평균 국소화 오차 4.61 ± 0.088미터를 기록하여 복잡한 도시 환경에서 높은 정확도를 입증하였다.
• 범위-의미 기반 방법은 특히 잡초와 건물가가 혼합된 영역에서 기술자 매칭의 불확실성을 감소시켰으며, 범위 기반 방법에 비해 유리하였다.
• 나무가 낙엽을 진 것과 같은 심각한 환경 변화나 물체 이동에도 불구하고, 고수준 특징 추상화 덕분에 의미 기반 접근법은 강건한 성능을 유지하였다.
• 실시간에서 5미터 이내의 국소화 오차를 달성하였으며, 실시간 데이터만을 사용한 범위-의미 기반 방법의 평균 오차는 5.185 ± 0.285미터였다.
• 전경로 후처리를 통해 정확도가 더욱 향상되었으며, 범위-의미 기반-전체 경로 방법은 4.676 ± 0.014미터의 오차를 기록하여 임무 종료 후 정밀 조정 가능성을 시사하였다.
• 국소화 오차가 가장 큰 영역은 경로 종료 부근의 잔디 지역이었으며, 이는 불확실한 기술자와 SLAM 드리프트 때문이었으며, 질감이 부족하거나 불확실한 영역에서의 개선 여지가 있음을 시사한다.