[논문 리뷰] Image-based Localization with Spatial LSTMs.

Florian Walch, Caner Hazırbaş외 4명|arXiv (Cornell University)|2016. 11. 23.

Robotics and Sensor-Based Localization참고 문헌 52인용 수 41

한 줄 요약

이 논문은 CNN 특징 맵에 공간적으로 구조화된 LSTMs를 활용하여 맥락 이해를 향상시키고 수용 영역을 확장하는 CNN+LSTM 아키텍처를 제안한다. 이는 텍스처가 부족하거나 운동 왜곡이 있는 환경과 같은 도전적인 상황에서 이미지 기반 국소화 성능을 크게 향상시킨다. 이 방법은 실내 및 실외 벤치마크에서 SIFT 기반 및 이전 딥 러닝 접근법보다 뛰어난 성능을 보였다.

ABSTRACT

In this work we propose a new CNN+LSTM architecture for camera pose regression for indoor and outdoor scenes. CNNs allow us to learn suitable feature representations for localization that are robust against motion blur and illumination changes. We make use of LSTM units on the CNN output in spatial coordinates in order to capture contextual information. This substantially enlarges the receptive field of each pixel leading to drastic improvements in localization performance. We provide extensive quantitative comparison of CNN-based vs SIFT-based localization methods, showing the weaknesses and strengths of each. Furthermore, we present a new large-scale indoor dataset with accurate ground truth from a laser scanner. Experimental results on both indoor and outdoor public datasets show our method outperforms existing deep architectures, and can localize images in hard conditions, e.g., in the presence of mostly textureless surfaces.

연구 동기 및 목표

• 텍스처가 부족하거나 대trast가 낮은 환경에서 SIFT 기반 국소화의 한계를 해결하기 위해.
• 운동 왜곡과 조명 변화에 대한 딥 러닝 기반 국소화의 강건성을 향상시키기 위해.
• 더 나은 자세 회귀를 위해 특징 맵 간의 공간적 맥락을 포착하는 CNN+LSTM 아키텍처를 개발하기 위해.
• 레이저 스캐너 수준의 정확한 진짜값을 갖는 대규모 실내 데이터셋을 신규로 제안하여 벤치마킹을 가능하게 하기 위해.
• 딥 러닝을 사용하여 도전적인 국소화 상황에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• CNN은 다양한 조명 조건과 왜곡에 대비하여 강건한 표현을 제공하는 계층적 특징을 입력 이미지에서 추출한다.
• 공간 LSTMs는 CNN 특징 맵의 공간 차원을 따라 적용되어 장거리 맥락적 의존성을 모델링한다.
• LSTM 유닛은 격자형 공간 순서로 특징을 처리하여 각 특징 맵 위치가 이미지 전반의 맥락 정보에 주목할 수 있도록 한다.
• 이 아키텍처는 공간 좌표 간에 공유된 LSTM 레이어를 사용하여 표준 CNN보다 효과적인 수용 영역을 효과적으로 확장한다.
• 최종 자세 예측은 완전 연결 레이어를 사용하여 최종 LSTM 은닉 상태에서 회귀된다.
• 모델은 카메라 자세 파rameter에 대한 회귀 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 공간 LSTMs의 통합이 표준 CNN에 비해 국소화 정확도를 어떻게 향상시키는가?
• RQ2 제안된 방법이 텍스처가 부족하거나 대trast가 낮은 실내 환경에서 SIFT 기반 국소화를 초월할 수 있는가?
• RQ3 공간 LSTMs 아키텍처가 운동 왜곡과 조명 변화에 대해 얼마나 강건성을 향상시키는가?
• RQ4 모델은 대규모 실세계 실내 및 실외 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 공간 LSTMs를 통한 맥락 모델링이 도전적인 국로화 조건에서 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 특히 텍스처가 없는 환경에서 SIFT 기반 방법에 비해 뛰어난 국로화 정확도를 달성한다.
• 맥락 특징 학습 덕분에 운동 왜곡과 조명 변화에 대해 상당한 강건성을 보여준다.
• 공간 LSTMs가 CNN 특징의 효과적 수용 영역을 상당히 확장하여 국로화 정밀도를 향상시킨다.
• 공개된 실내 및 실외 데이터셋에서 기존의 딥 러닝 아키텍처보다 성능이 뛰어나다.
• 레이저 스캐너 수준의 진짜값을 갖는 새로운 대규모 실내 데이터셋은 국로화 시스템 평가의 신뢰성을 높여준다.
• 정량적 결과는 벤치마크 데이터셋 전반에서 이동 및 회전에 대한 평균 절대 오차(MAE)에서 측정 가능한 성능 향상을 보여준다.