[논문 리뷰] Training a Convolutional Neural Network for Appearance-Invariant Place Recognition

Ruben Gomez-Ojeda, Manuel López-Antequera외 2명|arXiv (Cornell University)|2015. 05. 27.

Robotics and Sensor-Based Localization참고 문헌 28인용 수 52

한 줄 요약

이 논문은 외관 변화에 강인한 시각적 장소 인식을 위해 특별히 훈련된 새로운 합성곱 신경망(CNN)을 제안한다. 삼중체 손실을 사용하여 이미지를 유사한 장소가 가까이 오는 128차원 공간에 임bedding한다. 이는 DBoW2와 CaffeNet과 같은 최신 기술들보다 외관 변화(계절, 조명, 시야각)에 더 강인하면서도 훨씬 빠르고, 소형 디스크립터를 사용한다.

ABSTRACT

Place recognition is one of the most challenging problems in computer vision, and has become a key part in mobile robotics and autonomous driving applications for performing loop closure in visual SLAM systems. Moreover, the difficulty of recognizing a revisited location increases with appearance changes caused, for instance, by weather or illumination variations, which hinders the long-term application of such algorithms in real environments. In this paper we present a convolutional neural network (CNN), trained for the first time with the purpose of recognizing revisited locations under severe appearance changes, which maps images to a low dimensional space where Euclidean distances represent place dissimilarity. In order for the network to learn the desired invariances, we train it with triplets of images selected from datasets which present a challenging variability in visual appearance. The triplets are selected in such way that two samples are from the same location and the third one is taken from a different place. We validate our system through extensive experimentation, where we demonstrate better performance than state-of-art algorithms in a number of popular datasets.

연구 동기 및 목표

• 계절, 일몰/일출 시간대, 조명 변화와 같은 심각한 외관 변화 상황에서의 시각적 장소 인식 과제를 해결한다.
• 수작업으로 만든 기술적 특징을 기반으로 하며 외관 변화에 취약한 전통적인 백오브워드(BoW) 방법(예: DBoW2)의 한계를 극복한다.
• 일반적인 사전 훈련된 네트워크에서 유도된 특징을 사용하는 대신, 종료에서 종료까지 장소 인식을 위해 훈련된 CNN을 개발한다.
• 실시간 및 장기적인 로봇 응용을 위한 실현 가능성을 고려해, 저비용의 계산 부담과 소형 128D 디스크립터를 통해 높은 성능을 달성한다.

제안 방법

• 이미지 삼중체를 사용해 CNN을 훈련한다: 동일한 장소에서 온 두 이미지(기준 및 양성), 다른 장소에서 온 하나의 이미지(음성).
• 노르드란(네 계절), 올더리지(낮/밤), 말라가 시티(다양한 시야각)와 같은 높은 시각적 변동성을 가진 데이터셋을 사용해 네트워크가 외관 변화에 노출되도록 한다.
• 입력 이미지를 유클리드 거리가 장소 간 이질성과 반비례하는 128차원 특징 공간에 임베딩한다.
• 삼중체 마진 손실을 사용해 양성 쌍 간의 거리를 최소화하고 음성 쌍 간의 거리를 최대화하도록 네트워크를 최적화한다.
• CaffeNet과 같은 큰 사전 훈련된 모델 대신, 더 작은 작업에 특화된 CNN 아키텍처를 사용해 계산 부담을 감소시킨다.
• 고정된 128D 디스크립터 길이를 사용해 루프 클로징 시스템에서 유사도 계산과 혼동 행렬 계산을 효율적으로 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 종료에서 종료까지 장소 인식을 위해 훈련된 CNN이 일반적인 특징 추출기나 전통적인 BoW 방법보다 외관 변화에 더 강인한가?
• RQ2 다양하고 외관이 변하는 데이터셋에서 삼중체 손실을 사용해 훈련하면, 네트워크가 날씨, 조명, 계절 변화에 대한 불변성을 학습할 수 있는가?
• RQ3 더 작은 작업에 특화된 CNN이 계산 부담을 줄이며 CaffeNet과 같은 큰 사전 훈련된 네트워크보다 장소 인식 정확도에서 뛰어난가?
• RQ4 제안된 방법은 DBoW2와 일반적인 CNN 특징과 비교해 실제 세계 데이터셋에서 극심한 외관 변화가 있는 상황에서 성능과 효율성 면에서 어떻게 비교되는가?

주요 결과

• 제안된 CNN은 노르드란 데이터셋에서 DBoW2와 CaffeNet보다 뛰어난 성능을 보였으며, k=5와 k=10 모두에서 모든 대각선 폭에서 유사한 비율이 유의미하게 높았다.
• 올더리지 데이터셋(낮과 밤)에서, 극심한 조명 변화에도 불구하고 이 방법은 DBoW2와 CaffeNet 모두를 초월한 유사한 비율을 기록했다.
• CPU에서는 550ms, GPU에서는 10ms 내로 이미지 처리가 가능해 CaffeNet보다 3배 빠르며, CNN 기반 추론에서 DBoW2보다 훨씬 효율적이다.
• DBoW2의 200~500단어 히스토그램이나 CaffeNet의 64k 디스크립터에 비해 128D 디스크립터는 훨씬 더 작아 저장 및 계산 비용을 줄였다.
• 계절 변화와 시야각 변화 상황에서도 높은 정확도를 달성하여, 삼중체 훈련을 통해 강력한 불변성이 학습되었음을 보여주었다.
• 빠른 처리 속도, 소형 디스크립터, 강인함으로 인해 이 시스템은 장기적이고 실시간 모바일 로봇 및 자율 주행 응용에 적합하다.