[논문 리뷰] ConvSequential-SLAM: A Sequence-based, Training-less Visual Place Recognition Technique for Changing Environments

Mihnea-Alexandru Tomită, Mubariz Zaffar외 3명|ePrints Soton (University of Southampton)|2020. 09. 28.

Robotics and Sensor-Based Localization참고 문헌 47인용 수 6

한 줄 요약

이 논문은 뷰포인트 및 외관 변화 상황에서 최신 기술 수준의 성능을 달성하기 위해 순차적 이미지 분석과 블록 정규화 지역 컨볼루션 매칭을 융합한 훈련이 필요 없는 시각적 장소 인식 방법인 ConvSequential-SLAM을 제안한다. 정보 이득과 이미지 엔트로피를 활용해 순차 길이를 동적으로 조정함으로써, 딥러닝이나 재훈련 없이도 4개의 공개 데이터셋에서 8종의 현존하는 VPR 기법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Visual Place Recognition (VPR) is the ability to correctly recall a previously visited place under changing viewpoints and appearances. A large number of handcrafted and deep-learning-based VPR techniques exist, where the former suffer from appearance changes and the latter have significant computational needs. In this paper, we present a new handcrafted VPR technique that achieves state-of-the-art place matching performance under challenging conditions. Our technique combines the best of 2 existing trainingless VPR techniques, SeqSLAM and CoHOG, which are each robust to conditional and viewpoint changes, respectively. This blend, namely ConvSequential-SLAM, utilises sequential information and block-normalisation to handle appearance changes, while using regional-convolutional matching to achieve viewpoint-invariance. We analyse content-overlap in-between query frames to find a minimum sequence length, while also re-using the image entropy information for environment-based sequence length tuning. State-of-the-art performance is reported in contrast to 8 contemporary VPR techniques on 4 public datasets. Qualitative insights and an ablation study on sequence length are also provided.

연구 동기 및 목표

• 딥러닝 기반 VPR 방법의 한계를 해결하기 위해, 특히 자원이 제한된 로봇 시스템에서 광범위한 훈련과 높은 계산 자원이 요구되는 문제를 해결하고자 한다.
• 실세계 환경에서 외관 및 뷰포인트 변화에 취약한 수작업 특징의 낮은 내성적 특성을 극복하고자 한다.
• 동적 조명, 계절 변화 및 뷰포인트 변화 상황에서도 높은 정확도를 유지할 수 있는 훈련이 필요 없는 VPR 시스템을 개발하고자 한다.
• 환경 조건에 대한 사전 지식 없이도 정보 이득과 엔트로피를 활용해 쿼리 이미지의 순차 길이를 최적화하여 매칭 성능을 향상시키고자 한다.
• 공개 VPR 벤치마크에서 최신 기술 수준의 성능를 달성하면서도 계산 효율성이 높고 저전력 플랫폼에 구현 가능한 시스템을 확보하고자 한다.

제안 방법

• 이 방법은 SeqSLAM의 순차적 매칭과 CoHOG의 지역 컨볼루션 특징 매칭을 융합하여 뷰포인트 불변성과 외관에 대한 강건성을 향상시킨다.
• 블록 정규화를 사용하여 조명 변화나 계절 변화 상황에서도 특징 표현의 안정성을 향상시킨다.
• 순차 길이는 연속된 쿼리 프레임 간의 정보 이득을 분석하여 최소 효과적인 순차 길이를 식별함으로써 동적으로 결정된다.
• 이미지 엔트로피는 콘텐츠 기반 메트릭으로 사용되어, 야간이나 특징이 없는 프레임과 같은 저채도 상황에서 순차 길이를 조정한다.
• 라벨이 붙은 데이터셋이나 GPU 훈련이 필요 없도록 수작업 특징과 순차적 이미지 비교에 의존함으로써 재훈련을 피한다.
• 이중 최적화 전략은 정보 이득(하한 설정용)과 엔트로피(콘텐츠 기반 조정용)를 동시에 사용하여 고콘텐츠 또는 저콘텐츠 환경에서 최적의 순차 길이를 방지한다.

실험 결과

연구 질문

• RQ1 순차적 이미지 분석과 강력한 특징 매칭을 융합한 훈련이 필요 없는 VPR 시스템이 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ2 환경 조건에 대한 사전 지식 없이도 이미지 콘텐츠와 정보 이득을 활용해 실시간으로 순차 길이를 적응적으로 최적화할 수 있는가?
• RQ3 엔트로피와 정보 이득은 저채도 또는 고변동성 환경에서 매칭 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 SeqSLAM과 CoHOG의 융합이 극한의 뷰포인트 및 외관 변화 상황에서 기존의 수작업 특징 및 딥러닝 기반 VPR 기법보다 우수한 성능를 보일 수 있는가?
• RQ5 시스템의 실패 모드는 무엇이며, 동적 객체와 식생은 실외 환경에서 인지적 이중성(퍼셉추얼 얼라이어싱)을 어떻게 유도하는가?

주요 결과

• ConvSequential-SLAM은 Oxford RobotCar, SPED, Pittsburgh, Nordland의 4개의 공개 VPR 데이터셋에서 8종의 현존하는 VPR 기법보다 정밀도, 재현율 및 AUC-PR 메트릭에서 최신 기술 수준의 성능를 달성한다.
• 시스템의 성능는 순차 길이가 증가할수록著격히 향상되며, k=1(즉, CoHOG에 해당)에서 k=20으로 갈수록 정확도와 AUC-PR이 상승함으로써 순차 분석의 이점을 입증한다.
• Alderlay 데이터셋(야간 이미지)에서는 저채도로 인해 순차 길이를 최대 25까지 늘여 엔트로피 기반 조정의 효과성을 입증한다.
• Campus Loop와 Gardens Point와 같은 고엔트로피 데이터셋에서는 정보 이득이 하한선을 설정하여 과소 또는 과대 순차 길이를 방지한다.
• 강력한 성능에도 불구하고 Nordland 데이터셋에서는 밀식 식생과 동적 요소로 인한 인지적 이중성으로 인해 실패가 발생함을 확인하였으며, 이는 VPR 시스템이 여전히 해결해야 할 과제임을 시사한다.
• 제거 실험 결과, 정보 이득과 엔트로피가 모두 최적의 순차 길이 선택을 위해 필수적임을 확인하였으며, 둘 중 하나만 사용할 경우 특정 환경에서 성능이 열등해짐을 입증하였다.