[논문 리뷰] PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization

Alex Kendall, Matthew Koichi Grimes외 1명|arXiv (Cornell University)|2015. 02. 17.

Robotics and Sensor-Based Localization참고 문헌 27인용 수 186

한 줄 요약

PoseNet는 실시간으로 단일 RGB 이미지에서 6-DOF 카메라 자세를 직접 회귀하는 딥 컨volution 신경망을 도입하여, 대규모 실외 환경에서는 약 2m 및 6°의 정확도를 달성하고, 실내에서는 약 0.5m 및 10°의 정확도를 보였다. 이는 ImageNet에서의 전이 학습과 구조에서의 운동(SfM)을 활용하여 자동으로 자세 레이블을 생성함으로써 인간의 수동 주석이 최소화된 엔드 투 엔드 학습을 가능하게 하였으며, 운동 블러나 조명 조건의 변화와 같은 도전적인 조건에서도 뛰어난 성능을 발휘한다.

ABSTRACT

We present a robust and real-time monocular six degree of freedom relocalization system. Our system trains a convolutional neural network to regress the 6-DOF camera pose from a single RGB image in an end-to-end manner with no need of additional engineering or graph optimisation. The algorithm can operate indoors and outdoors in real time, taking 5ms per frame to compute. It obtains approximately 2m and 6 degree accuracy for large scale outdoor scenes and 0.5m and 10 degree accuracy indoors. This is achieved using an efficient 23 layer deep convnet, demonstrating that convnets can be used to solve complicated out of image plane regression problems. This was made possible by leveraging transfer learning from large scale classification data. We show the convnet localizes from high level features and is robust to difficult lighting, motion blur and different camera intrinsics where point based SIFT registration fails. Furthermore we show how the pose feature that is produced generalizes to other scenes allowing us to regress pose with only a few dozen training examples. PoseNet code, dataset and an online demonstration is available on our project webpage, at http://mi.eng.cam.ac.uk/projects/relocalisation/

연구 동기 및 목표

• 초기 자세 추정치나 특징 매칭이 필요 없이 단일 카메라 영상에서 실시간으로 엔드 투 엔드 딥 러닝 시스템을 개발하여 6-DOF 카메라 재정위치를 수행하는 것.
• 대규모 수동 주석 데이터셋에 대한 의존도를 줄이기 위해 대규모 이미지 분류 데이터셋에서의 전이 학습을 활용하는 것.
• 운동 블러, 동적 객체, 조도 변화와 같은 도전적인 시각 조건에서도 강건한 재정위치 성능을 제공하는 것.
• 단지 수십 개의 추가 학습 예제만으로도 사전에 훈련된 네트워크의 고수준 특징이 새로운 환경으로 일반화될 수 있음을 보여주는 것.
• 훈련된 CNN의 고수준 특징을 직접적으로 연속적인 카메라 자세를 회귀하는 데 사용할 수 있음을 보여주어 기존의 SLAM 또는 특징 매칭 파이프라인을 우회하는 것.

제안 방법

• 23층의 딥 컨volution 신경망(PoseNet)을 단일 RGB 이미지에서 6-DOF 카메라 자세(3개의 이동, 3개의 회전)를 직접 회귀하도록 엔드 투 엔드로 훈련한다.
• ImageNet에서 사전 훈련된 가중치로 네트워크를 초기화하고, 현장 특성 데이터에 대해 미세 조정함으로써 수렴 속도와 성능을 향상시킨다.
• 영상 시퀀스에서 구조에서의 운동(SfM)을 활용하여 자동으로 카메라 자세 레이블을 생성함으로써 수동 주석을 제거한다.
• 예측된 자세와 진짜 자세 간의 평균 제곱오차 손실을 사용하여 네트워크를 훈련한다.
• 주의 맵(saliency maps)를 활용하여 자세 예측에 가장 기여하는 이미지 영역을 분석함으로써, 무문자 표면과 동적 객체에 대한 강건성을 입증한다.
• t-SNE 시각화를 특징 벡터에 적용하여 기하학적 구조를 분석하고, 특징들이 자세에 따라 일대일로 매핑되는 성질을 평가한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망이 실시간으로 단일 RGB 이미지에서 연속적인 6-DOF 카메라 자세를 직접 회귀할 수 있는가?
• RQ2 대규모 분류 데이터셋에서의 전이 학습이 얼마나 큰 수동 주석 재정위치 데이터셋의 필요성을 줄일 수 있는가?
• RQ3 운동 블러, 동적 객체, 조도 변화와 같은 도전적인 시각 조건에 대해 자세 회귀기의 강건성은 어느 정도인가?
• RQ4 학습된 특징 표현이 단지 수십 개의 추가 학습 샘플만으로도 새로운 환경으로 일반화될 수 있는가?
• RQ5 네트워크의 내부 표현이 카메라 자세에 대해 매끄럽고 일대일 함수인지 확인하여, 추적 또는 특징 대응 과정 없이 직접 회귀가 가능한가?

주요 결과

• PoseNet은 대규모 실외 환경(최대 50,000m²)에서 약 2m 및 6°의 재정위치 정확도를 달성하고, 실내에서는 약 0.5m 및 10°의 정확도를 보이며, 프레임당 5ms의 추론 시간만 소요된다.
• 단지 수십 개의 추가 학습 예제만으로도 새로운 환경으로 일반화되며, 강력한 소수 샘플 일반화 능력을 입증한다.
• 주의 맵 분석 결과, PoseNet은 특징점과 큰 무문자 영역을 모두 활용하여 SIFT가 실패하는 상황에서도 강건함을 입증한다.
• 네트워크는 보행자와 같은 동적 객체를 효과적으로 억제함으로써 시나리오의 혼잡함과 노이즈에 대한 내재된 불변성을 보여준다.
• t-SNE 시각화 결과, 특징 벡터가 자세에 대해 매끄럽고 일대일의 다양체를 형성함을 확인하였으며, 관련 없는 데이터셋으로도 훈련된 경우에도 동일한 성질을 유지한다.
• 시스템은 매우 효율적이며, 모델 가중치 저장 용량이 단지 50MB이며, 추론 시간이 5ms에 불과하여 SIFT 및 최근접 이웃 CNN 기반 시스템보다 빠르고 메모리 사용량이 적다.