[논문 리뷰] VPAIR -- Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments

Michael Schleiss, Fahmi Rouatbi외 1명|arXiv (Cornell University)|2022. 05. 23.

Robotics and Sensor-Based Localization인용 수 9

한 줄 요약

이 논문은 300–400미터 고도에서 경량 항공기에서 촬영한 대규모 공중 시각적 장소 인식 및 정위치 측정 데이터셋인 VPAIR를 소개한다. 이 데이터셋은 하향 시점 이미지와 고해상도 지도 기반 렌더링, 6-DoF 자세 정보를 포함한다. 실험 결과, 평면 내 회전에 강건한 국소 기술자표현(RoRD)이 NetVLAD 및 SIFT와 같은 기존 방법보다 공중 시각적 장소 인식 및 정위치 측정 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Visual Place Recognition and Visual Localization are essential components in navigation and mapping for autonomous vehicles especially in GNSS-denied navigation scenarios. Recent work has focused on ground or close to ground applications such as self-driving cars or indoor-scenarios and low-altitude drone flights. However, applications such as Urban Air Mobility require operations in large-scale outdoor environments at medium to high altitudes. We present a new dataset named VPAIR. The dataset was recorded on board a light aircraft flying at an altitude of more than 300 meters above ground capturing images with a downwardfacing camera. Each image is paired with a high resolution reference render including dense depth information and 6-DoF reference poses. The dataset covers a more than one hundred kilometers long trajectory over various types of challenging landscapes, e.g. urban, farmland and forests. Experiments on this dataset illustrate the challenges introduced by the change in perspective to a bird's eye view such as in-plane rotations.

연구 동기 및 목표

• 중·고고도 외부 환경에서의 시각적 장소 인식(VPR) 및 시각적 정위치 측정(VL)을 위한 대규모 공중 데이터셋의 부족 문제를 해결한다.
• 하향 시점 공중 카메라에서 흔히 발생하는 평면 내 회전 조건에서 기존 VPR 및 VL 기술의 성능 저하를 조사한다.
• 정확한 지도 기반 이미지, 풍부한 깊이 맵, 6-DoF 자세 정보를 포함한 공개 가능한 데이터셋을 제공하여 자율 항공 항법 분야의 연구를 지원한다.
• 기존의 글로벌 및 국소 기술자표현과 비교하여, 공중 VPR 및 VL 환경에서의 회전에 강건한 기술자표현(RoRD)의 효과를 평가한다.
• 기존의 상용 기술인 NetVLAD 및 SIFT가 공중 환경에서의 한계를 드러내고, 향후 시스템에 대해 회전에 강건하고 효율적인 기술자표현의 필요성을 주장한다.

제안 방법

• 300–400미터 고도에서 경량 항공기를 이용해 총 107km의 경로를 따라 도시, 농경지, 산림 지역을 비행하며 공중 영상을 촬영한다.
• 각 쿼리 이미지와 함께, 공개된 지리공간 데이터(예: OpenStreetMap, SRTM)를 활용해 고해상도 지도 기반 렌더링 및 밀도 높은 깊이 맵을 생성한다.
• Parihar 등 [20]의 회전에 강건한 국소 기술자표현(RoRD)을 VPR 및 VL 작업 모두에 적용하여 평면 내 회전에 대한 처리 능력을 향상시킨다.
• VPR 작업에서는 국소 기술자표현을 사용해 상위-k 개의 근접한 이웃을 검색하고, 기능 빈도 기반으로 기준 이미지를 순위 매긴다. 100m 거리 기준으로 Recall@n를 평가한다.
• VL 작업에서는 RoRD를 통해 2D-2D 매칭을 수립하고, 밀도 높은 깊이 맵을 활용해 2D 키포인트를 3D로 역투영한 후, 재투영 오차를 최소화하는 PnP 솔버를 통해 6-DoF 자세를 추정한다.
• RoRD를 기준선과 비교한다: VPR에서는 NetVLAD(글로벌 기술자표현), VL에서는 SIFT 및 D2-Net(국소 기술자표현)를 사용하며, 표준 평가 지표(Recall@n, 절대 자세 오차)를 적용한다.

실험 결과

연구 질문

• RQ1 고고도 하향 시점 공중 카메라에서 발생하는 극한의 시점 변화, 특히 평면 내 회전 조건에서 기존의 VPR 및 VL 기술은 어떤 성능을 보이는가?
• RQ2 공중 환경에서 비-회전에 강건한 기술자표현 또는 글로벌 기술자표현과 비교해, 회전에 강건한 국소 기술자표현(RoRD)이 VPR 및 VL 성능을 얼마나 향상시키는가?
• RQ3 장면 유형(도시, 농경지, 산림)이 고고도 공중 환경에서의 VPR 및 VL 시스템 성능에 어떤 영향을 미치는가?
• RQ4 비교적 대규모 공중 VPR 환경에서 외부에서 구입한 글로벌 기술자표현인 NetVLAD은 국소 기술자표현 파ipeline에 비해 외관 및 시점 변화를 효과적으로 다룰 수 있는가?
• RQ5 쿼리 이미지와 기준 이미지 간의 평면 내 회전 차이가 VPR 정확도에 어떤 영향을 미치며, RoRD는 이러한 성능 저하를 어떻게 완화하는가?

주요 결과

• RoRD 기반 VPR는 동일한 데이터셋에서 NetVLAD의 10.2%에 비해 Recall@1이 38.7%를 기록하며, 대규모 공중 VPR에서 뛰어난 성능을 보였다.
• 도시 환경에서는 RoRD-VPR가 Recall@5에서 77.4%를 기록했고, NetVLAD는 31.1%에 머물러 외관 및 시점 변화에 대한 강건성을 입증했다.
• 방향각 차이를 통제한 조건에서도 RoRD-VPR는 강력한 성능 유지를 보였다: 135° 평면 내 회전 조건에서 Recall@5는 51.2%였고, NetVLAD는 17.7%로 급격히 감소하여 그 회전 강건성의 우수성을 입증했다.
• RoRD-VL은 25m/5° 절대 자세 오차 기준으로 10.6%의 성공률을 기록했고, SIFT(6.2%) 및 D2-Net(2.9%)를 모두 능가하여 6-DoF 자세 추정에서의 효과성을 입증했다.
• RoRD와 비-회전 강건 기술자표현인 D2-Net 및 SIFT 간의 성능 격차는 공중 시각 정위치 측정에서 회전 불변 특징의 필수성을 강력히 시사한다.
• 더 높은 계산 비용에도 불구하고 RoRD 파이프라인은 국소 기술자표현 기반 VPR가 어려운 공중 환경, 특히 회전 및 외관 변화가 심한 조건에서 NetVLAD와 같은 글로벌 기술자표현을 능가할 수 있음을 입증했다.