[논문 리뷰] Unsupervised Complementary-aware Multi-process Fusion for Visual Place Recognition

Stephen Hausler, Tobias Fischer외 1명|arXiv (Cornell University)|2021. 12. 09.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 시각적 장소 인식(VPR)을 위한 비지도, 프레임 단위 동적 다중프로세스 융합(Dyn-MPF) 방법을 제안하며, 인지적 오진( perceptual aliasing) 추정을 바탕으로 최적의 VPR 기법 조합을 자동으로 선택한다. 데이터베이스 매칭 중 상위 유사도 점수와 둘째 상위 유사도 점수의 비율을 최대화함으로써, 지도 데이터나 수동 튜닝 없이 다양한 데이터셋에서 뛰어난 재현율을 달성하며, 정적 융합 및 오라클 기반 기준선을 모두 능가한다.

ABSTRACT

A recent approach to the Visual Place Recognition (VPR) problem has been to fuse the place recognition estimates of multiple complementary VPR techniques simultaneously. However, selecting the optimal set of techniques to use in a specific deployment environment a-priori is a difficult and unresolved challenge. Further, to the best of our knowledge, no method exists which can select a set of techniques on a frame-by-frame basis in response to image-to-image variations. In this work, we propose an unsupervised algorithm that finds the most robust set of VPR techniques to use in the current deployment environment, on a frame-by-frame basis. The selection of techniques is determined by an analysis of the similarity scores between the current query image and the collection of database images and does not require ground-truth information. We demonstrate our approach on a wide variety of datasets and VPR techniques and show that the proposed dynamic multi-process fusion (Dyn-MPF) has superior VPR performance compared to a variety of challenging competitive methods, some of which are given an unfair advantage through access to the ground-truth information.

연구 동기 및 목표

• 다양한 배치 환경에 맞게 사전에 최적의 VPR 기법을 선택하는 문제에 대응하기 위해.
• 지도 데이터나 후행적 환경 지식 없이도, 프레임 단위로 상호보완적인 VPR 기법을 동적으로 선택할 수 있도록 하기 위해.
• 유사도 점수 비율 분석을 통해 인지적 오진을 최소화함으로써 VPR 성능을 향상시키기 위해.
• 모든 데이터셋과 VPR 기법 조합에 적용 가능한 확장 가능한 비지도 융합 프레임워크를 개발하기 위해.

제안 방법

• 본 방법은 쿼리 이미지와 데이터베이스 이미지 간의 가장 높은 유사도 점수와 둘째로 높은 유사도 점수의 비율을 사용해 인지적 오진을 추정한다.
• 각 쿼리 이미지에 대해, 모든 가능한 VPR 기법 조합을 평가하여 이 비율을 최대화하는 조합을 식별한다.
• 선택 과정은 지도 데이터나 추가 학습 없이도, 유사도 점수 분포만을 기반으로 수행된다.
• 에이전트가 환경을 이동함에 따라 이미지 단위로 선택된 기법 집합을 동적으로 갱신한다.
• 이전 연구에서 제안된, 이 비율이 인식 정확도와 상관관계가 있음을 보여주는 기존 메트릭을 활용한다.
• 이 방법은 비지도이며 일반화 가능하며, 어떤 VPR 기법 조합과 데이터셋 조합에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 유사도 점수 비율을 사용해 인지적 오진을 효과적으로 추정할 수 있으며, 이로 인해 강력한 VPR 성능 예측이 가능한가?
• RQ2 지도 데이터 없이도, 프레임 단위로 상호보완적인 VPR 기법 조합을 동적으로 선택할 수 있는가?
• RQ3 인지적 오진 추정 기반의 기법 선택이 정적 융합 또는 개별 기법 대비 더 높은 VPR 재현율을 달성하는가?
• RQ4 다양한 외관 및 시점 변화를 보이는 다양한 데이터셋에 대해 일반화 가능한가?
• RQ5 동적 기법 선택 방식이 오라클 기반 조합 대비 성능에서 어떻게 비교되는가?

주요 결과

• 제안된 Dyn-MPF 방법은 12개의 VPR-Bench 데이터셋 전반에서 평균 재현율이 가장 높으며, 전체 다중프로세스 융합 및 계층적 다중프로세스 융합을 모두 능가한다.
• 인지적 오진 점수와 인식 성공 간 명확한 상관관계가 존재하며, 정확한 매칭 결과는 일관되게 높은 비율 값을 보였다.
• DenseVLAD와 NetVLAD가 데이터셋 전반에서 가장 자주 선택된 기법이었으며, 이는 이들의 높은 개별 재현율 성능과 일치한다.
• 쿼리 이미지별로 동적 기법 선택을 시각화한 결과, 한 데이터셋 내에서 시간이 지남에 따라 기법 선택이 성공적으로 적응하는 것으로 나타났다.
• 어떤 경우에서는 오라클 기반 기준선조차도 초월하는 성능을 보였으며, 이는 동적 선택 방식이 정적 전문가 튜닝 조합을 능가할 수 있음을 시사한다.
• 지도 데이터 접근 없이도 재학습 없이도 뛰어난 성능을 달성함으로써, 본 방법이 비지도 성격과 일반화 능력을 확인하였다.