[논문 리뷰] Image-based Localization using Hourglass Networks

Iaroslav Melekhov, Juha Ylioinas외 2명|arXiv (Cornell University)|2017. 03. 23.

Advanced Vision and Imaging인용 수 12

한 줄 요약

이 논문은 단일 이미지 카메라 재로컬라이제이션을 위한 시계열형 인코더-디코더 CNN을 제안하며, 스킵 커넥션과 업컨볼루션 레이어를 통해 특징 복구를 향상시킨다. 이 방법은 상태 기반 성능을 달성하여 PoseNet 대비 평균 이동 오차를 52.27% 감소시키고 방향 오차를 8.47% 감소시켰으며, 7-Scenes 데이터셋에서 다중 프레임 시퀀스를 사용하는 방법보다도 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose an encoder-decoder convolutional neural network (CNN) architecture for estimating camera pose (orientation and location) from a single RGB-image. The architecture has a hourglass shape consisting of a chain of convolution and up-convolution layers followed by a regression part. The up-convolution layers are introduced to preserve the fine-grained information of the input image. Following the common practice, we train our model in end-to-end manner utilizing transfer learning from large scale classification data. The experiments demonstrate the performance of the approach on data exhibiting different lighting conditions, reflections, and motion blur. The results indicate a clear improvement over the previous state-of-the-art even when compared to methods that utilize sequence of test frames instead of a single frame.

연구 동기 및 목표

• 텍스처가 없는, 반복적인, 또는 가림이 발생하는 장면에서 특징 기반 방법의 한계를 해결하기 위해, 관점 기반 매칭을 딥 러닝으로 대체한다.
• 운동 왜곡, 반사, 다양한 조명 조건과 같은 어려운 시각 조건에서 카메라 자세 추정 정확도를 향상시킨다.
• 스킵 커넥션을 활용한 인코더-디코더 아키텍처를 통해 세밀한 세부 사항을 유지하면서도 전반적인 맥락을 유지하여 강력한 회귀를 가능하게 한다.
• 대규모 분류 데이터셋에서의 전이 학습을 통해 제한된 재로컬라이제이션 데이터에 대한 일반화 능력을 향상시키기 위해 엔드 투 엔드 학습을 구현한다.
• 단일 이미지 접근 방식이 다중 프레임 방법을 초월할 수 있음을 입증하며, 고성능을 위해 시간적 시퀀스가 필수적이라는 가정에 도전한다.

제안 방법

• 스패티얼 해상도를 복구하기 위해 인코더(컨볼루션 레이어를 통한 다운샘플링)와 디코더(디컨볼루션 레이어를 통한 업샘플링)로 구성된 대칭적 시계열 CNN을 설계한다.
• 인코더의 초기 리지드 블록에서 디코더의 해당하는 디컨볼루션 레이어에 이르기까지 스킵 커넥션을 도입하여 세밀한 특징을 유지한다.
• 최종 특징 맵에서 6-DoF 카메라 자세(3D 위치 및 3D 방향)를 예측하기 위해 세 개의 완전 연결 레이어로 구성된 회귀 헤드를 사용한다.
• 7-Scenes 데이터셋에서 자세 오차를 최소화하기 위해 스케일 정규화를 적용한 평균 제곱 오차 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 랜덤 크롭(224×224)을 통한 데이터 증강 및 중심 크롭 평가를 적용하며, 고정된 하이퍼파라미터(β₁=0.9, β₂=0.99, 가중치 감소=10⁻⁵)를 사용한 Adam 옵티마이저를 활용한다.
• 재로컬라이제이션 작업에서 수렴성과 성능을 향상시키기 위해 ImageNet 사전 학습을 활용한 전이 학습을 적용한다.

실험 결과

연구 질문

• RQ1 스킵 커넥션을 갖춘 인코더-디코더 CNN 아키텍처가 기존의 회귀 네트워크 대비 단일 이미지 카메라 재로컬라이제이션 정확도를 향상시킬 수 있는가?
• RQ2 디컨볼루션을 통한 업샘플링을 통해 세밀한 시각적 세부 정보를 유지하면, 텍스처 손실이나 운동 왜곡이 발생하는 어려운 장면에서 자세 추정 성능이 향상되는가?
• RQ3 단일 이미지 기반 CNN 기반 방법이 빈도 기반 시퀀스를 사용하는 VidLoc와 같은 다중 프레임 방법을 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ4 다양한 조명 조건과 장면 조건에서 제안된 시계열 아키텍처는 PoseNet 대비 얼마나 뛰어난 강건성을 보이는가?
• RQ5 초기 리지드 레이어에서 온 스킵 커넥션이 카메라 재로컬라이제이션 작업에서 회귀를 위한 특징 표현을 크게 향상시킬 수 있는가?

주요 결과

• HourglassSum-Pose 아키텍처는 7-Scenes 데이터셋에서 PoseNet 대비 평균 이동 오차를 52.27% 감소시키고 방향 오차를 8.47% 감소시켰다.
• 모든 장면에서 LSTM-Pose보다 뛰어난 방향 정확도를 달성하여, 자세 회귀에 있어 시계열 설계의 효과를 입증했다.
• 다중 프레임 기반 기준인 VidLoc를 상회하며 평균 이동 오차를 1~2cm 감소시켜, 단일 이미지 방법이 순차 기반 접근 방식을 능가할 수 있음을 입증했다.
• '체스' 장면에서 HourglassSum-Pose의 예측 중 60% 이상이 진짜 값에서 20cm 이내에 있었으며, PoseNet의 경우 단지 5%에 불과하여 반복적인 구조에서의 강건성을 입증했다.
• 고반복성과 모호성이 높은 '계단' 장면에서도 특징 기반 방법이 일반적으로 성능이 저하되는 상황에서도 강력한 성능 유지를 보여, 개선된 일반화 능력을 시사한다.
• 누적 히스토GRAM 분석을 통해 두 시계열 변형 모두 PoseNet을 일관되게 뛰어넘었으며, 모든 장면에서 이동 정확도가 1.5배에서 2.3배까지 향상됨을 확인했다.