[논문 리뷰] Relative Camera Pose Estimation Using Convolutional Neural Networks

Iaroslav Melekhov, Juha Ylioinas외 2명|arXiv (Cornell University)|2017. 02. 05.

Advanced Vision and Imaging참고 문헌 21인용 수 18

한 줄 요약

이 논문은 스테레오 RGB 이미지를 입력으로 사용하여 상대 카메라 자세 추정을 위한 엔드 투 엔드 컨볼루션 신경망(CNN)을 제안한다. 이 방법은 직접적으로 상대 회전과 이동을 회귀한다. Siamese 아키텍처와 공간 피ラ미드 풀링(SPP)을 활용하여, 전통적인 특징 기반 방법인 SURF와 ORB에 비해 뛰어난 성능을 보이며, 특히 무늬가 없는 또는 반사성이 강한 환경에서 뛰어난 성능을 발휘한다. 고해상도 입력을 사용할수록 정확도가 더욱 향상된다.

ABSTRACT

This paper presents a convolutional neural network based approach for estimating the relative pose between two cameras. The proposed network takes RGB images from both cameras as input and directly produces the relative rotation and translation as output. The system is trained in an end-to-end manner utilising transfer learning from a large scale classification dataset. The introduced approach is compared with widely used local feature based methods (SURF, ORB) and the results indicate a clear improvement over the baseline. In addition, a variant of the proposed architecture containing a spatial pyramid pooling (SPP) layer is evaluated and shown to further improve the performance.

연구 동기 및 목표

• 수작업으로 설계된 局부 특징에 의존하지 않고, 두 시점 간의 상대 카메라 자세를 추정하기 위한 딥 러닝 기반 방법을 개발하는 것.
• 무늬가 없는 표면이나 큰 시점 변화와 같은 어려운 상황에서 Siamese CNN 아키텍처가 상대 자세 추정에 얼마나 효과적인지 평가하는 것.
• 학습 데이터 분포와 이미지 해상도가 자세 추정 정확도에 미치는 영향을 조사하는 것.
• 광범위한 기준 이미지 쌍에서 일반화 능력과 성능 향상에 기여하는 공간 피라미드 풀링(SPP)의 기여도를 탐색하는 것.
• 표준 벤치마크 데이터셋에서 제안된 CNN 접근법을 기존의 국부적 특징 기반 방법(SURF, ORB 등)과 비교하는 것.

제안 방법

• 모델은 스테레오 쌍의 왼쪽 및 오른쪽 RGB 이미지를 처리하기 위해 공유 가중치를 가진 Siamese CNN 아키텍처를 사용한다.
• 최종 레이어는 결합된 특징 맵에서 상대 자세(회전 및 이동)를 회귀하기 위한 완전 연결 레이어로 구성된다.
• 다중 척도 특징 표현을 가능하게 하고 척도 변화에 대한 강건성을 향상시키기 위해 공간 피라미드 풀링(SPP) 레이어를 통합한다.
• 예측된 상대 자세와 진짜 자세 간의 유클리드 거리로 구성된 회귀 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 사전 훈련을 위해 대규모 Landmarks 데이터셋에서 훈련한 후, DTU 데이터셋에서 미세 조정을 통해 전이 학습을 적용한다.
• 정확도 향상을 위해 특히 미세한 자세 추정에 유리하게, 훈련 및 추론 모두에서 고해상도 이미지(1600×1200)를 사용한다.

실험 결과

연구 질문

• RQ1 Siamese CNN 아키텍처는 엔드 투 엔드 방식으로 스테레오 RGB 이미지에서 상대 카메라 자세를 효과적으로 추정할 수 있는가?
• RQ2 공간 피라미드 풀링(SPP)의 통합이 상대 자세 추정 정확도에 어떤 영향을 미치는가?
• RQ3 저해상도 입력에 비해 고해상도 이미지에서의 훈련이 성능 향상에 얼마나 기여하는가?
• RQ4 무늬가 없거나 반사성이 강한 표면과 같은 어려운 상황에서 제안된 CNN 기반 방법이 기존의 국부적 특징 기반 접근법(SURF, ORB 등)과 비교해 어떻게 성능을 내는가?
• RQ5 DTU 데이터셋의 일부에 대해 미세 조정을 수행하면, 동일한 데이터셋에서 테스트할 때 성능 향상이 이루어지는가?

주요 결과

• 특징 매칭에 실패하는 무늬가 없는 또는 반사성이 강한 환경에서 SURF와 ORB에 비해 상대 자세의 자세 추정에서 제안된 CNN 기반 방법이 뚜렷한 우월성을 보였다.
• SPP 기반 변종(cnn-spp)은 CNN 모델들 중에서 가장 뛰어난 성능을 보였으며, 특히 고해상도 이미지(1600×1200)에서 훈련 및 테스트한 경우에 두드러진 성능을 보였다.
• Landmarks 데이터셋만으로 훈련한 경우에 비해 DTU 데이터셋의 일부에 대해 사전 훈련된 모델을 미세 조정함으로써 성능 향상이 이루어졌다.
• 고해상도 훈련 및 추론이 상대 자세 추정의 정확도를 가장 높였으며, 특히 자세 추정의 방향성에 있어서 cnn-spp 모델이 가장 뛰어난 성능을 보였다.
• 전반적으로 CNN 방법은 번역 추정에서는 국소적 특징 기반 방법보다 略로 성능이 떨어지지만, SURF와 ORB가 충분한 인liers를 탐지하지 못하는 어려운 케이스에서는 뛰어난 성능을 발휘한다.
• 결과적으로 딥 러닝 기반의 회귀 방법이 전통적인 특징 기반 방법이 어려움을 겪는 광학적 및 기하학적 조건에서도 효과적으로 대응할 수 있음을 보여주었다.