[논문 리뷰] CNN Feature boosted SeqSLAM for Real-Time Loop Closure Detection

Dongdong Bai, Chaoqun Wang외 3명|arXiv (Cornell University)|2017. 04. 17.

Robotics and Sensor-Based Localization참고 문헌 13인용 수 3

한 줄 요약

이 논문은 시퀀스 기반 매칭을 통해 사전 훈련된 CNN 특징(특히 pool5 레이어)을 융합하여 시점 및 조건 변화에 대해 강건한 실시간 루프 클로징 탐지 방법인 SeqCNNSLAM을 제안한다. 시간적 사전 지식을 이용해 매칭 범위를 제한함으로써 런타임 가속을 위한 A-SeqCNNSLAM과 온라인 파rameter 조정을 위한 O-SeqCNNSLAM을 도입하여 정확도 손실를 최소화하면서도 4–6×의 속도 향상을 달성하였으며, 기준 데이터셋에서 최신 기술 수준의 성능을 유지한다.

ABSTRACT

Loop closure detection (LCD) is an indispensable part of simultaneous localization and mapping systems (SLAM); it enables robots to produce a consistent map by recognizing previously visited places. When robots operate over extended periods, robustness to viewpoint and condition changes as well as satisfactory real-time performance become essential requirements for a practical LCD system. This paper presents an approach to directly utilize the outputs at the intermediate layer of a pre-trained convolutional neural network (CNN) as image descriptors. The matching location is determined by matching the image sequences through a method called SeqCNNSLAM. The utility of SeqCNNSLAM is comprehensively evaluated in terms of viewpoint and condition invariance. Experiments show that SeqCNNSLAM outperforms state-of-the-art LCD systems, such as SeqSLAM and Change Removal, in most cases. To allow for the real-time performance of SeqCNNSLAM, an acceleration method, A-SeqCNNSLAM, is established. This method exploits the location relationship between the matching images of adjacent images to reduce the matching range of the current image. Results demonstrate that acceleration of 4-6 is achieved with minimal accuracy degradation, and the method's runtime satisfies the real-time demand. To extend the applicability of A-SeqCNNSLAM to new environments, a method called O-SeqCNNSLAM is established for the online adjustment of the parameters of A-SeqCNNSLAM.

연구 동기 및 목표

• 장기적인 로봇 항법에서 시점과 조건 변화가 동시에 발생하는 상황에서 강건한 루프 클로징 탐지 문제를 해결하기 위해.
• 정확도를 희생시키지 않은 채 계산 복잡도를 감소시켜 CNN 기반 루프 클로징 탐지의 실시간 성능을 향상시키기 위해.
• 재훈련 없이도 새로운 또는 미리 보지 못한 환경에 알고리즘을 적응시킬 수 있도록 온라인 파rameter 조정을 가능하게 하기 위해.
• 특히 pool5와 같은 중간 CNN 특징이 환경 및 시점 변화에 대한 불변성을 향상시키는 데 기여하는지 평가하기 위해.

제안 방법

• 시점 및 조건 변화에 대해 불변성을 유지하는 특징을 캡처하기 위해 사전 훈련된 CNN(예: AlexNet)의 pool5 레이어를 이미지 기반 기술자로 활용한다.
• CNN 기술자를 사용하여 이미지 시퀀스를 비교하는 시퀀스 기반 매칭(Sequence-based SLAM, SeqSLAM)을 적용함으로써 환경 변화에 대한 강건성을 향상시킨다.
• 이웃 이미지 간의 순차적 관계를 활용하여 각 이미지의 매칭 범위를 줄임으로써 계산을 가속화하는 A-SeqCNNSLAM을 도입한다.
• 이전 매칭 위치와 환경 변화 감지 기반으로 역사적 데이터를 바탕으로 매칭 범위 수(K)를 온라인으로 업데이트하는 동적 파rameter 조정 메커니즘을 구현한다.
• CNN 기술자 간 유클리드 거리 기반의 변화도 지표를 사용하여 심각한 환경 전환을 감지하고 K 재초기화를 트리거한다.
• 최근 10개의 이미지에 대한 슬라이딩 윈도우를 사용하여 이미지 매칭 레이블(IML)을 계산하고, 환경 안정성이 감지되면 IML 최댓값을 K로 동적으로 설정한다.

실험 결과

연구 질문

• RQ1 중간 CNN 특징(예: pool5)이 시점과 조건 변화에 모두 강건한 루프 클로징 탐지 성능 향상에 기여하는가?
• RQ2 CNN 기술자를 사용한 시퀀스 기반 매칭이 기존의 SeqSLAM 및 Change Removal와 같은 전통적 방법을 초월하는 데 얼마나 효과적인가?
• RQ3 시간적 사전 지식에 기반한 매칭 범위 감소가 정확도 저하를 최소화하면서 루프 클로징 탐지 속도를 얼마나 빠르게 만들 수 있는가?
• RQ4 매칭 범위(K)의 온라인 파arameter 조정이 재훈련 없이도 새로운 환경에 적응하는 데 얼마나 효과적인가?

주요 결과

• SeqCNNSLAM은 여러 데이터셋에서 SeqSLAM 및 Change Removal와 같은 최신 기술 수준의 방법보다도 시점 및 조건 변화에 대해 더 강건한 성능을 보였다.
• A-SeqCNNSLAM은 기준 SeqCNNSLAM 대비 4–6×의 가속을 달성하면서도 유사한 정확도를 유지하였으며, 실시간 요구 조건을 충족시켰다.
• O-SeqCNNSLAM은 ds=12.5% 이격된 Nordland 데이터셋에서 A-SeqCNNSLAM과 유사한 성능을 달성하여 새로운 환경에 대한 효과적인 온라인 적응 능력을 입증하였다.
• O-SeqCNNSLAM에서 K의 온라인 조정은 환경 전환 기간 동안 성능 유지에 성공하였으며, 변화도 지표가 1.1을 초과하거나 0.9 이하가 되면 재초기화가 발생하였다.
• ds=80일 경우 O-SeqCNNSLAM의 런타임은 121.494초였고, ds=100일 경우 151.932초였으며, 이는 확장성과 실시간 구현 가능성의 증거이다.