[논문 리뷰] Learning Whole-Image Descriptors for Real-time Loop Detection andKidnap Recovery under Large Viewpoint Difference

Manohar Kuse, Shaojie Shen|arXiv (Cornell University)|2019. 04. 15.

Robotics and Sensor-Based Localization참고 문헌 63인용 수 7

한 줄 요약

이 논문은 큰 시점 차이 조건에서도 강력한 루프 검출과 납치 복구를 가능하게 하는 실시간 스테레오 시각-자이로스코픽 SLAM 시스템을 제안한다. 이는 분리된 컨볼루션 기반의 약한 지도 학습을 이용한 경량 전체 이미지 기반 기술자와 새로운 전쌍 손실 함수를 활용한다. 이 방법은 표준 NetVLAD 대비 3배 빠른 추론 속도와 10배 적은 파라미터를 확보하면서도, 평면 내 회전과 시점 변화가 있는 도전적인 시퀀스에서 높은 리콜률을 유지한다.

ABSTRACT

We present a real-time stereo visual-inertial-SLAM system which is able to recover from complicatedkidnap scenarios and failures online in realtime. We propose to learn the whole-image-descriptorin a weakly supervised manner based on NetVLAD and decoupled convolutions. We analyse thetraining difficulties in using standard loss formulations and propose an allpairloss and show itseffect through extensive experiments. Compared to standard NetVLAD, our network takes an orderof magnitude fewer computations and model parameters, as a result runs about three times faster.We evaluate the representation power of our descriptor on standard datasets with precision-recall.Unlike previous loop detection methods which have been evaluated only on fronto-parallel revisits,we evaluate the performace of our method with competing methods on scenarios involving largeviewpoint difference. Finally, we present the fully functional system with relative computation andhandling of multiple world co-ordinate system which is able to reduce odometry drift, recover fromcomplicated kidnap scenarios and random odometry failures. We open source our fully functional system as an add-on for the popular VINS-Fusion.

연구 동기 및 목표

• 큰 시점 차이 조건에서 기존 방법이 실패하는 시각 SLAM의 루프 검출 및 납치 복구 문제를 해결한다.
• 시점, 조도, 텍스처 변화에 일반화 가능한 실시간, 효율적이고 안정적인 시각적 장소 인식 시스템을 개발한다.
• 삼중체 손실을 사용한 NetVLAD 학습의 불안정성을 해결하기 위해 새로운 전쌍 손실 함수를 도입한다.
• 장기적이고 연결된 납치 상황에서의 복구를 지원하기 위해 실시간으로 여러 좌표계를 병합할 수 있도록 한다.
• 드리프트 감소 및 장애 복구를 향상시키는 실용적이고 플러그인 방식의 모듈을 구축한다.

제안 방법

• 분리된 컨볼루션을 활용한 NetVLAD 기반의 약한 지도 학습 프레임워크를 활용해 모델 크기와 계산 시간을 감소시킨다.
• 기존 삼중체 손실 대비 더 낮은 클러스터 수 조건에서도 학습 안정성과 성능 향상을 위해 전쌍 손실 함수를 도입한다.
• 다양한 세계 좌표계를 유지하고, 루프 클로징 시 그들 간의 상대 자세를 계산하는 시스템 아키텍처를 설계한다.
• VINS-Fusion 내 실시간 모듈로 기술자를 통합하여 납치 상황의 실시간 검출 및 복구를 가능하게 한다.
• 세계 간 루프 후보를 기반으로 상호 세계 간 궤적을 융합하기 위해 자세 그래프 최적화기를 사용한다.
• 최소한의 인간 레이블링을 요구하며, 시간적 근접도를 약한 지도로 활용해 자가 수집 시퀀스와 표준 데이터셋에서 기술자를 학습한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습을 통해 학습된 전체 이미지 기술자가 큰 시점 차이와 평면 내 회전 조건에서도 강력한 루프 검출을 달성할 수 있는가?
• RQ2 제한된 클러스터 수 조건에서 제안된 전쌍 손실이 삼중체 손실 대비 학습 안정성과 성능 향상에 어떻게 기여하는가?
• RQ3 경량화된 분리된 컨볼루션 기반 네트워크가 계산 비용을 얼마나 줄일 수 있으며, 동시에 장소 인식 정확도는 유지할 수 있는가?
• RQ4 여러 좌표계를 활용해 실시간으로 장기적이고 연결된 납치 시나리오를 감지하고 복구할 수 있는가?
• RQ5 실세계 시퀀스에서 정밀도, 리콜률, 추론 속도 측면에서 최신 BOVW 및 CNN 기반 접근법과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 전쌍 손실은 특히 클러스터 수가 적은 조건에서 학습 안정성과 성능 향상에 크게 기여하며, 리콜률과 수렴 속도 측면에서 삼중체 손실을 뛰어넘는다.
• 분리된 컨볼루션 덕분에 표준 NetVLAD 대비 약 3배 빠른 속도로 실행되며, 학습 가능한 파라미터 수가 5–7배 감소한다.
• 큰 시점 차이와 평면 내 회전이 있는 시퀀스에서, 이 방법은 DBOW2 및 기타 BOVW 기반 방법보다 상당히 높은 리콜률을 달성한다.
• 시스템은 실시간으로 여러 납치 시나리오를 감지하고 복구할 수 있으며, 그림 1과 같이 다양한 좌표계 간 궤적을 실시간으로 융합한다.
• 조도 변화, 낮은 텍스처, 시점 변화에 강건하며, 표준 및 자가 수집된 도전적인 데이터셋 모두에서 뛰어난 일반화 성능을 보인다.
• VINS-Fusion 플러그인 형태로 오픈소스로 제공되어 실시간 배포가 가능하며, 장기적 자율주행 및 의미 기반 SLAM 분야의 향후 연구를 촉진한다.