[논문 리뷰] Condition-Invariant Multi-View Place Recognition

José M. Fácil, Daniel Olid외 2명|arXiv (Cornell University)|2019. 02. 25.

Robotics and Sensor-Based Localization참고 문헌 36인용 수 39

한 줄 요약

논문은 프레임 시퀀스로 학습하여 appearance 변화에 대한 시각적 장소 인식을 개선하기 위해 Descriptor Grouping, Descriptor Fusion, Recurrent Descriptors의 세 가지 딥러닝 기반 다중 시야 아키텍처를 제안한다. 이 모델들은 단일 시야 및 SeqSLAM 기반선보다 더 나은 성능을 보이며, 더 작은 디스크립터를 사용한다.

ABSTRACT

Visual place recognition is particularly challenging when places suffer changes in its appearance. Such changes are indeed common, e.g., due to weather, night/day or seasons. In this paper we leverage on recent research using deep networks, and explore how they can be improved by exploiting the temporal sequence information. Specifically, we propose 3 different alternatives (Descriptor Grouping, Fusion and Recurrent Descriptors) for deep networks to use several frames of a sequence. We show that our approaches produce more compact and best performing descriptors than single- and multi-view baselines in the literature in two public databases.

연구 동기 및 목표

• Appearance 변화(weather, day/night, seasons, dynamics) 하에서 시각적 장소 인식의 견고성 문제 해결.
• 단일 이미지에 의존하지 않고 프레임 시퀀스로부터 학습하여 다중 시야 정보를 활용.
• 세 가지 딥 러닝 아키텍처를 개발·평가하여 다중 프레임 디스크립터를 효과적으로 융합.

제안 방법

• ResNet-50을 백본으로 사용하여 각 프레임에서 128차원 디스크립터를 추출.
• Descriptor Grouping: n 프레임 윈도우에서 디스크립터를 연결하여 128×n 시퀀스 디스크립터를 형성.
• Descriptor Fusion: n 프레임의 출력으로부터 추가적인 완전 연결층을 통해 128차원 융합 디스크립터를 학습.
• Recurrent Descriptors: 각 프레임의 디스크립터를 LSTM에 입력하여 시간이 지남에 따라 업데이트되는 128차원 시퀀스 디스크립터를 생성.
• Triplet 손실(Wohlhart-Lepetit)로 같은 장소의 시퀀스를 모으고 다른 장소의 시퀀스를 멀리 떨어뜨리도록 모든 모델을 학습.
• Nordland 및 Alderley 데이터셋에서 평가하고 단일 시야 baselines 및 SeqSLAM과 비교.

실험 결과

연구 질문

• RQ1 다중 시야 딥 표현이 심한 appearance 변화에서 장소 인식을 향상시킬 수 있는가?
• RQ2 정확도와 디스크립터 압축도 사이에서 가장 적절한 트레이드오프를 제공하는 다중 시야 융합 전략은 무엇인가(그룹화, 융합 또는 순환)?
• RQ3 역순 시퀀스 순서나 속도 변화와 같은 변동하에서 이 모델들은 어떻게 성능을 보이는가?

주요 결과

• Descriptor Grouping은 Partitioned Nordland에서 3 프레임으로 최고 정확도 92%를 달성했으며 디스크립터는 384 요소였다.
• Descriptor Fusion은 Nordland에서 3 프레임으로 87%의 정확도를 달성했고 더 작은 디스크립터 크기(128)로 여러 baselines를 상회했다.
• Recurrent Descriptors는 Nordland에서 3 프레임으로 85%의 정확도를 달성했고 시퀀스 동적성에 대해 강한 견고함을 보였다.
• 세 가지 다중 시야 모델 모두 같은 프레임 수를 사용할 때 단일 시야 baselines 및 SeqSLAM보다 우수했다.
• 디스크립터 크기는 많은 baselines에 비해 훨씬 작으며(예: 384 또는 128 차원)도 높은 정확도를 제공했다.
• Alderley(주간 대 야간)에서는 다중 시야 접근법(그룹화)이 여전히 최고의 성능을 보이는 모델이었다.