[논문 리뷰] Single-View Place Recognition under Seasonal Changes

Daniel Olid, José M. Fácil외 1명|arXiv (Cornell University)|2018. 08. 20.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 64

한 줄 요약

이 논문은 CNN 기반 디스크립터를 학습시켜 날씨에 의한 단일 뷰 장소 인식의 계절 불변성을 달성하고, 사전 학습(pre-trained), 시암네, 트리플렛 네트워크를 비교하며, 계절 강인성을 평가하기 위한 Nordland 데이터셋 파 partition을 제안한다. 트리플렛 학습 모델을 미세 조정하면 Nordland에서 최신 성능을 달성하고 강한 겨울-여름 인식력을 보인다.

ABSTRACT

Single-view place recognition, that we can define as finding an image that corresponds to the same place as a given query image, is a key capability for autonomous navigation and mapping. Although there has been a considerable amount of research in the topic, the high degree of image variability (with viewpoint, illumination or occlusions for example) makes it a research challenge. One of the particular challenges, that we address in this work, is weather variation. Seasonal changes can produce drastic appearance changes, that classic low-level features do not model properly. Our contributions in this paper are twofold. First we pre-process and propose a partition for the Nordland dataset, frequently used for place recognition research without consensus on the partitions. And second, we evaluate several neural network architectures such as pre-trained, siamese and triplet for this problem. Our best results outperform the state of the art of the field. A video showing our results can be found in https://youtu.be/VrlxsYZoHDM. The partitioned version of the Nordland dataset at http://webdiis.unizar.es/~jmfacil/pr-nordland/.

연구 동기 및 목표

• 자율 주행 및 매핑을 위한 심각한 계절 변화에 따른 견고한 장소 인식의 필요성 제시.
• 방법 간 공정한 비교를 가능하게 하는 표준화된 Nordland 데이터 파 partition 제안.
• 날씨에 불변한 디스크립터를 위한 다중 신경망 아키텍처(사전 학습됨, 시암네, 트리플렛) 평가.
• 기존 방법 대비 성능 평가 및 계절 변화에 대한 강인성 정량화.

제안 방법

• 영상 디스크립터를 CNN으로 추출하고 유클리드 거리를 유사도 척도로 사용.
• Imagenet 및 Places를 포함한 사전 학습된 VGG-16 계층의 특징을 평가하여 효과적인 표현 식별.
• 동일/다른 장소 쌍에 대해 contrastive 손실을 사용하고 128차원 완전 연결층을 추가하여 시암네 네트워크를 학습.
• 128차원 층을 추가하고 Wohlhart-Lepetit 손실을 사용하여 트리플렛 네트워크를 학습; 사전 학습된 VGG-16-Places 베이스를 처음부터 학습하는 것과 미세 조정하는 것을 비교.
• 효율성과 성능을 위해 디스크립터 크기를 128로 설정.

실험 결과

연구 질문

• RQ1 CNN 기반 디스크립터가 심한 계절 변화에서도 장소 인식에 대해 강건할 수 있는가?
• RQ2 날씨에 불변한 장소 인식을 위해 사전 학습된, 시암네, 트리플렛 아키텍처 간 비교는?
• RQ3 Places로 학습된 VGG-16 베이스를 미세 조정하는 것이 계절 변화에서 인식을 개선하는가?
• RQ4 디스크립터 차원 수가 인식 정확도와 계산 비용에 미치는 영향은?

주요 결과

input season	summer	fall	winter	spring
summer	—	0.8548	0.8591	0.9545
fall	0.9777	—	0.8583	0.9562
winter	0.8597	0.9771	—	0.9545
spring	0.9336	0.94	0.8388	—

• 최적의 결과는 VGG-16-Places에서 시작하여 미세 조정된 트리플렛 네트워크와 128차원 디스크립터로 얻어졌다.
• 유리한 조건에서 Nordland 80km 경로에서 장소의 98%가 정확하게 인식되며; 극심한 계절 변화 하에서도 86% 정확하다.
• 시암네 네트워크를 통한 128차원 디스크립터는 컴팩트하지만 경쟁력 있는 표현이다.
• 미세 조정 후 Places 학습된 VGG-16 특징이 이 작업에서 Imagenet 학습 변형보다 우수하다.
• 제안된 Nordland 파 partition은 방법 간 공정한 비교를 가능하게 하고 Nordland 데이터셋에서 최첨단 성능을 달성한다.