[논문 리뷰] DeepSeqSLAM: A Trainable CNN+RNN for Joint Global Description and Sequence-based Place Recognition

Marvin Chancán, Michael Milford|arXiv (Cornell University)|2020. 11. 17.

Robotics and Sensor-Based Localization참고 문헌 53인용 수 13

한 줄 요약

이 논문은 단일 카메라 영상 시퀀스에서 시각적 및 위치적 표현을 동시에 학습하는 훈련 가능한 CNN+RNN 아키텍처인 DeepSeqSLAM을 제안한다. 이는 극단적인 외관 변화 조건에서도 강력한 장소 인식을 가능하게 한다. 계산 비용이 높은 히ュ리스틱 기반 순차적 매칭을 엔드 투 엔드 학습으로 대체함으로써, 2프레임의 시퀀스 길이로 Nordland 데이터셋에서 72% AUC를 달성하였으며, 이는 SeqSLAM(2%) 및 Delta Descriptors(27%)를 크게 앞서며, CPU에서의 배포 시간을 70분에서 1분으로 단축시켰다.

ABSTRACT

Sequence-based place recognition methods for all-weather navigation are well-known for producing state-of-the-art results under challenging day-night or summer-winter transitions. These systems, however, rely on complex handcrafted heuristics for sequential matching - which are applied on top of a pre-computed pairwise similarity matrix between reference and query image sequences of a single route - to further reduce false-positive rates compared to single-frame retrieval methods. As a result, performing multi-frame place recognition can be extremely slow for deployment on autonomous vehicles or evaluation on large datasets, and fail when using relatively short parameter values such as a sequence length of 2 frames. In this paper, we propose DeepSeqSLAM: a trainable CNN+RNN architecture for jointly learning visual and positional representations from a single monocular image sequence of a route. We demonstrate our approach on two large benchmark datasets, Nordland and Oxford RobotCar - recorded over 728 km and 10 km routes, respectively, each during 1 year with multiple seasons, weather, and lighting conditions. On Nordland, we compare our method to two state-of-the-art sequence-based methods across the entire route under summer-winter changes using a sequence length of 2 and show that our approach can get over 72% AUC compared to 27% AUC for Delta Descriptors and 2% AUC for SeqSLAM; while drastically reducing the deployment time from around 1 hour to 1 minute against both. The framework code and video are available at https://mchancan.github.io/deepseqslam

연구 동기 및 목표

• 수작업 히ュ리스틱에 의존하는 전통적인 순차 기반 장소 인식 방법의 높은 계산 비용과 비효율성을 해결한다.
• 기존 방법들이 짧은 시퀀스 길이(예: 2프레임)에서 실패하는 한계를 극복한다. 이는 실시간 배포에 매우 중요하다.
• 단일 단일 카메라 주행을 통해 시각적 및 위치적 표현을 엔드 투 엔드로 훈련할 수 있도록 한다. 사전에 정렬된 기준 및 쿼리 시퀀스가 필요로 하지 않는다.
• CPU 또는 GPU에서 효율적으로 작동하며, 자율 주행 차량 응용에 적합한 확장 가능한, 구현 가능한 시스템을 개발한다.
• 속도 또는 GPS 사전 지식 없이도 극단적인 환경 변화(예: 일주일, 계절 변화)에서도 강력한 성능을 유지를 한다.

제안 방법

• 각 프레임에서 압축된 전역 영상 기능을 추출하기 위해 사전 훈련된 CNN을 사용한다.
• 추출된 기능을 RNN(LSTM 또는 GRU)에 입력하여 시간적 의존성을 모델링하고, 통합된 시각적 및 위치적 표현을 생성한다.
• 시각적 오도메트리 또는 기타 운동 추정 소스로부터 위치 정보를 이용해 전체 CNN+RNN 파이프라인을 엔드 투 엔드로 훈련한다.
• 추론 시에는 학습된 기능 간의 코사인 또는 유클리드 거리로 유사도 행렬을 계산하여 히ュ리스틱 매칭을 대체한다.
• 쿼리 시퀀스 길이에 민감하지 않으며, 기준 및 쿼리 주행 간 정렬이 필요 없도록 아키텍처를 설계한다.
• PyTorch를 사용하여 CPU, GPU 또는 다중 GPU 클러스터에서 효율적인 추론을 위한 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 훈련 가능한 CNN+RNN 아키텍처가 극단적인 외관 변화 조건에서 순차 기반 장소 인식의 정확도를 향상시키기 위해 시각적 및 위치적 표현을 동시에 학습할 수 있는가?
• RQ2 짧은 시퀀스 길이에서 SeqSLAM 및 Delta Descriptors와 같은 전통적인 순차 기반 방법에 비해 정확도 및 추론 속도 측면에서 성능이 뛰어나다고 할 수 있는가?
• RQ3 Nordland(728km) 및 Oxford RobotCar(10km)와 같은 장기적이고 대규모 데이터셋에서 계절 변화 및 조도 변화 조건에서도 모델이 높은 성능을 유지할 수 있는가?
• RQ4 히ュ리스틱 기반 순차적 매칭 대비 엔드 투 엔드 훈련 파라다임이 계산 오버헤드를 얼마나 줄이는가?
• RQ5 속도 또는 GPS 데이터 없이도 CPU에서 배포 가능하고 다중 GPU 시스템으로 확장 가능한가?

주요 결과

• DeepSeqSLAM은 단지 2프레임의 시퀀스로 Nordland 데이터셋에서 72% AUC를 달성하였으며, 이는 SeqSLAM(2% AUC) 및 Delta Descriptors(27% AUC)를 크게 앞서는 성능이다.
• 전체 728km Nordland 경로에 대해 CPU에서의 배포 시간을 이전의 70분(SEQSLAM) 및 51분(Delta Descriptors)에서 단 1분으로 단축시켰다.
• RNN의 시간적 모델링을 통한 시각적 및 위치적 특징의 통합 학습 덕분에 계절 변화 및 조도 변화 조건에서도 잘 일반화된다.
• 시야각 변화 및 동적 객체에 대해 강건한데, 이는 외관 변화가 있더라도 CNN이 구별 가능한 특징을 추출할 수 있음을 보여준다.
• 계산적으로 효율적이며 CPU, GPU 또는 다중 GPU 클러스터에서 배포 가능하여 자율 주행 내비게이션에서 실시간 사용이 가능하다.
• 소스 코드 및 영상은 mchancan.github.io/deepseqslam에서 공개되어 있어 커뮤니티의 재사용 및 확장에 기여한다.