[논문 리뷰] Introduction to Camera Pose Estimation with Deep Learning

Yoli Shavit, Ron Ferens|arXiv (Cornell University)|2019. 07. 08.

Robotics and Sensor-Based Localization참고 문헌 57인용 수 51

한 줄 요약

RGB 이미지로부터 절대 카메라 포즈를 회귀하는 딥 러닝 접근 방법에 대한 개관으로, 방법 분류체계, 교차 비교, 재현성에 관한 메모, 그리고 향후 방향을 다룬다.

ABSTRACT

Over the last two decades, deep learning has transformed the field of computer vision. Deep convolutional networks were successfully applied to learn different vision tasks such as image classification, image segmentation, object detection and many more. By transferring the knowledge learned by deep models on large generic datasets, researchers were further able to create fine-tuned models for other more specific tasks. Recently this idea was applied for regressing the absolute camera pose from an RGB image. Although the resulting accuracy was sub-optimal, compared to classic feature-based solutions, this effort led to a surge of learning-based pose estimation methods. Here, we review deep learning approaches for camera pose estimation. We describe key methods in the field and identify trends aiming at improving the original deep pose regression solution. We further provide an extensive cross-comparison of existing learning-based pose estimators, together with practical notes on their execution for reproducibility purposes. Finally, we discuss emerging solutions and potential future research directions.

연구 동기 및 목표

• 초기의 다소 불리한 결과 이후 학습 기반 카메라 포즈 추정 연구를 고무하기 위함.
• RGB 영상으로부터 절대 카메라 포즈를 회귀하는 주요 딥 러닝 접근법을 요약한다.
• 기존 학습 기반 포즈 추정기들의 교차 비교를 제공한다.
• 재현성을 향상시키고 향후 연구를 안내하기 위한 실용적 노트를 제시한다.

제안 방법

• 카메라 포즈 추정에 대한 딥 러닝 접근법을 검토하고 종합한다.
• 주요 방법을 설명하고 포즈 회귀 성능을 향상시키는 추세를 식별한다.
• 기존 학습 기반 추정기의 광범위한 교차 비교를 제공한다.
• 재현성과 구현을 위한 실용적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 RGB 이미지에서 카메라 포즈 추정에 사용되는 주요 딥 러닝 접근법은 무엇인가?
• RQ2 성능, 강점 및 약점 측면에서 서로 다른 학습 기반 포즈 추정기들은 어떻게 비교되는가?
• RQ3 포즈 추정 방법의 재현성과 배치에 영향을 미치는 실용적 고려사항은 무엇인가?
• RQ4 딥 러닝으로 포즈 추정을 위한 향후 방향과 신흥 해결책은 무엇으로 식별되는가?

주요 결과

• 본 논문은 카메라 포즈 추정의 딥 러닝 접근법을 검토하고 원래의 회귀 기반 솔루션을 개선하려는 추세를 논의한다.
• 기존 학습 기반 포즈 추정기들의 광범위한 교차 비교를 제공한다.
• 재현성을 돕기 위한 방법 실행에 관한 실용적 메모를 제공한다.
• 새로운 해결책과 잠재적 향후 연구 방향에 대해 논의한다.