[논문 리뷰] Feature Map Filtering: Improving Visual Place Recognition with Convolutional Calibration

Stephen Hausler, Adam Jacobson외 1명|arXiv (Cornell University)|2018. 10. 30.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 4

한 줄 요약

이 논문은 사전 훈련된 CNN을 오직 50장의 환경 특화 이미지로 캘리브레이션하여 계산 효율성이 높은 방법인 피처 매핑 필터링을 제안한다. 외관 변화(예: 주간/야간, 계절) 동안 일관되게 유지되는 피처 매핑의 부분집합을 선택함으로써, 특히 초기 레이어에서 정확도를 향상시키면서 추론 시간을 최대 64% 감소시킨다. 이는 네트워크 가중치를 재학습하지 않아도 된다.

ABSTRACT

Convolutional Neural Networks (CNNs) have recently been shown to excel at performing visual place recognition under changing appearance and viewpoint. Previously, place recognition has been improved by intelligently selecting relevant spatial keypoints within a convolutional layer and also by selecting the optimal layer to use. Rather than extracting features out of a particular layer, or a particular set of spatial keypoints within a layer, we propose the extraction of features using a subset of the channel dimensionality within a layer. Each feature map learns to encode a different set of weights that activate for different visual features within the set of training images. We propose a method of calibrating a CNN-based visual place recognition system, which selects the subset of feature maps that best encodes the visual features that are consistent between two different appearances of the same location. Using just 50 calibration images, all collected at the beginning of the current environment, we demonstrate a significant and consistent recognition improvement across multiple layers for two different neural networks. We evaluate our proposal on three datasets with different types of appearance changes - afternoon to morning, winter to summer and night to day. Additionally, the dimensionality reduction approach improves the computational processing speed of the recognition system.

연구 동기 및 목표

• 주간/야간, 계절, 시간대 변화 등 심한 외관 변화가 있는 상황에서 시각적 장소 인식의 과제를 해결한다.
• 새로운 환경에 대해 온라인으로 딥 CNN을 재학습하는 데 드는 높은 계산 비용을 극복한다.
• 네트워크 가중치를 수정하지 않고도 성능을 향상시킬 수 있는 빠르고 경량의 캘리브레이션 방법을 개발한다.
• 최소한의 캘리브레이션 데이터로 사전 훈련된 CNN을 새로운 환경 조건에 실시간으로 적응시킬 수 있도록 한다.
• 과도하거나 일관성 없는 피처 매핑을 필터링하면 정확도 향상과 함께 추론 속도 향상이 가능하다는 것을 입증한다.

제안 방법

• 다른 외관 조건에서 동일한 위치의 이미지 간 L2 거리가 최소가 되는 피처 매핑의 부분집합을 선택하여 사전 훈련된 CNN을 캘리브레이션한다.
• 유사한 환경 조건(예: 동일한 조명)으로 인해 외관적으로 유사하게 보이는 다른 위치 간의 L2 거리를 최대화한다.
• 외관 변화에 의해 성능이 떨어지는 피처 매핑을 반복적으로 제거하는 게으른 선택 알고리즘을 사용한다.
• 네트워크를 재학습하지 않고도, 새로운 환경에서 시작할 때 50장의 이미지만을 사용하여 캘리브레이션 절차를 적용한다.
• 하이브리드넷과 알렉산넷(이미지넷 사전 훈련) 두 개의 CNN 아키텍처에서 여러 레이어에 걸쳐 피처 매핑을 필터링한다.
• 다양한 외관 변화가 있는 실세계 데이터셋에서 정밀도 및 계산 효율성 측면에서 필터링된 피처 매핑의 현지화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 경량 캘리브레이션 절차가 CNN 가중치를 재학습하지 않고도 시각적 장소 인식 성능을 향상시킬 수 있는가?
• RQ2 외관 변화에 따른 일관성 기반으로 피처 매핑을 필터링하면 도전적인 환경에서 정확도가 향상되는가?
• RQ3 이 방법은 다양한 CNN 아키텍처와 네트워크 레이어(특히 초기 레이어 대 후기 레이어)에서 얼마나 효과적인가?
• RQ4 피처 매핑 필터링은 정확도를 유지하거나 향상시키면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 이 방법은 주간-야간, 겨울-여름, 오전-오후 전환과 같은 다양한 외관 변화에 일반화 가능한가?

주요 결과

• 하이브리드넷의 Conv3 레이어를 사용해 옥스포드 로봇카 데이터셋에서 야간-주간 인식 성능을 F1 스코어 0.56에서 0.81로 향상시켰다.
• 같은 데이터셋에서 알렉산넷의 Conv2 레이어를 사용해 F1 스코어를 0.41에서 0.69로 상승시켜 어려운 조명 조건에서도 뚜렷한 정확도 향상을 입증했다.
• 하이브리드넷의 Conv3 레이어에서는 추론 시간을 68ms에서 43.9ms로 줄여 64% 감소시켰고, 알렉산넷의 Conv2 레이어에서는 처리 시간을 81ms에서 41ms로 절반으로 줄였다.
• 평균적으로 하이브리드넷 사용 시 51%, 알렉산넷 사용 시 61%의 피처 매핑이 필터링되어 차원 축소가 상당히 이루어졌다.
• 성능 향상이 가장 두드러진 부분은 저수준 특징(예: 선, 질감)이 외관 변화에 더 민감한 초기 합성곱 레이어에서 관찰되었다.
• 시각화 결과, 제거된 피처 매핑은 일반적으로 그림자나 조명 효과 같은 일시적인 특징에 반응하는 반면, 유지된 매핑은 도로 표시와 같은 안정적인 단서에 집중하는 것으로 확인되었다.