[논문 리뷰] Cascaded Parallel Filtering for Memory-Efficient Image-Based Localization

Wentao Cheng, Weisi Lin외 2명|arXiv (Cornell University)|2019. 08. 16.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 5

한 줄 요약

이 논문은 이진 특징을 사용하여 메모리 효율적인 이미지 기반 국소화를 위한 계단식 병렬 필터링 방법을 제안한다. 특징, 가시성, 기하학 정보를 이원적 필터링 전략에 통합하여 메모리 소비를 줄이고 정확도를 햖을 것이다. 이 방법은 최신 기술 대비 85% 낮은 메모리 소비로 경쟁 가능한 국소화 성능을 달성하며, 특히 중규모 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Image-based localization (IBL) aims to estimate the 6DOF camera pose for a given query image. The camera pose can be computed from 2D-3D matches between a query image and Structure-from-Motion (SfM) models. Despite recent advances in IBL, it remains difficult to simultaneously resolve the memory consumption and match ambiguity problems of large SfM models. In this work, we propose a cascaded parallel filtering method that leverages the feature, visibility and geometry information to filter wrong matches under binary feature representation. The core idea is that we divide the challenging filtering task into two parallel tasks before deriving an auxiliary camera pose for final filtering. One task focuses on preserving potentially correct matches, while another focuses on obtaining high quality matches to facilitate subsequent more powerful filtering. Moreover, our proposed method improves the localization accuracy by introducing a quality-aware spatial reconfiguration method and a principal focal length enhanced pose estimation method. Experimental results on real-world datasets demonstrate that our method achieves very competitive localization performances in a memory-efficient manner.

연구 동기 및 목표

• 작은 이진 특징 표현에서 대규모 구조-에서-운동(SfM) 모델의 높은 메모리 소비와 매칭 모호성 문제를 해결하기 위해.
• 계단식 필터링 파이프라인을 통해 특징, 가시성, 기하학 정보를 효과적으로 통합하여 국로화 정확도를 향상시키기 위해.
• 3D 점당 8바이트 이진 서명만 저장하여 고차원 기술자에 비해 저장 요구량을 크게 낮추기 위해 메모리 소비를 줄이기 위해.
• RANSAC 기반 자세 추정을 향상시키기 위해 희소이고 고품질의 매칭을 우선시하고, 주요 초점 거리 정보를 활용해 견고한 가설을 선택하기 위해.
• 제한된 자원 환경에서의 실용적 구현을 가능하게 하기 위해 최소한의 메모리 프로파일을 유지하면서도 경쟁 가능한 정확도를 달성하기 위해.

제안 방법

• 이 방법은 필터링 작업을 두 개의 병렬 스트림으로 나누는 계단식 병렬 필터링 프레임워크를 사용한다: 하나는 유연한 기준을 사용해 잠재적으로 올바른 매칭을 보존하고, 다른 하나는 엄격한 기준을 사용해 높은 신뢰도의 매칭을 식별한다.
• 특징 기반 필터링은 표준 해밍 거리보다 더 높은 분별력을 제공하는 양방향 해밍 비율 테스트를 사용하여 매칭의 독창성을 평가한다.
• 가시성 기반 필터링은 점-이미지 관계를 활용하여 관련 데이터베이스 이미지를 검색하여 허위 매칭을 걸러낸다.
• 두 단계 매칭 선택 방법은 점-점 관계를 활용하여 보조 카메라 자세를 계산하기 위한 견고한 2D-3D 매칭 풀을 생성한다.
• 기하학 기반 필터링은 보조 자세를 사용하여 재투영 오차를 적용하여 잘못된 매칭을 거부함으로써 최종 매칭 품질을 향상시킨다.
• 이 방법은 RANSAC에서 열악한, 희소 매칭을 샘플링할 확률을 높이기 위해 품질 인식 공간 재구성(QSR) 기법을 도입한다.
• 주요 초점 거리 기반 자세 추정(PFL) 방법은 가장 많은 내부점 수를 가진 가설이 아닌, 일관된 초점 거리를 가진 가설을 우선시하여 가장 견고한 자세 가설을 선택한다.

실험 결과

연구 질문

• RQ1 특징, 가시성, 기하학 정보가 이진 특징 표현 하에서 계단식 필터링 파이프라인에 효과적으로 통합될 수 있는가?
• RQ2 대규모 SfM 모델에서 높은 국로화 정확도를 유지하면서도 메모리 소비를 크게 줄일 수 있는가?
• RQ3 가장 많은 내부점 수를 가진 가설을 선택하는 것과 비교해 주요 초점 거리 기반 선택 기준을 사용할 경우 자세 추정의 견고성이 향상되는가?
• RQ4 매칭의 공간 재구성이 희소 매칭 상황에서 RANSAC 기반 자세 추정의 성공률에 어떤 영향을 미치는가?
• RQ5 양방향 해밍 비율과 가시성 검색을 조합한 이중 단계 매칭 선택 전략이 표준 투표 또는 단일 기준 필터링보다 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 Dubrovnik 및 Aachen 데이터셋에서 메모리 소비를 각각 0.14 GB로 줄여, AS 방법(각각 0.75 GB 및 0.76 GB) 대비 85% 감소시켰다.
• Dubrovnik 데이터셋에서 이 방법은 794개의 쿼리 이미지를 국로화하며 75번째 백분위수 오차가 2.16미터로, 베이스라인 투표 방법(778장, 2.19미터 오차)을 능가했다.
• 절단 실험 결과, 품질 인식 공간 재구성(QSR) 비활성화 시 75번째 백분위수 오차가 2.16미터에서 2.53미터로 증가하여 QSR의 정확도 향상에 핵심적인 역할을 함을 입증했다.
• 주요 초점 거리 추정(PFL) 방법을 제거할 경우 75번째 백분위수 오차가 2.70미터로 증가하여, 견고한 자세 가설 선택에 있어 PFL의 유용성을 확인했다.
• SF-0 대규모 데이터셋에서 이 방법은 5미터 임계값에서 CPV(전체 기술자 사용)와 경쟁 가능한 성능을 달성했지만, 어휘 제약으로 인해 Hyperpoints에 비해 뒤처졌다.
• 이 방법은 메모리 소비가 크게 낮아지면서도 중규모 데이터셋에서 높은 성능를 유지하여, 제한된 메모리 자원을 가진 시스템에의 구현에 적합하다.