[논문 리뷰] Geometric Loss Functions for Camera Pose Regression with Deep Learning

Alex Kendall, Roberto Cipolla|arXiv (Cornell University)|2017. 04. 02.

Advanced Vision and Imaging참고 문헌 47인용 수 82

한 줄 요약

이 논문은 끝에서 끝까지 딥러닝 기반 카메라 포즈 회귀를 위한 기하학적 손실 함수를 제안하며, PoseNet의 단순한 손실을 재투영 오차와 불확실성 가중 손실과 같은 기하학적 인식 목표로 대체한다. 시점 기하학과 자동으로 최적의 포즈 구성 요소 가중치를 학습함으로써 이 방법은 정확도를 크게 향상시킨다. 실내 데이터셋에서 중앙값 위치 오차를 0.13m로 줄이고, 4.48°로 유지하며, 대규모 실외 환경에서도 미터 이내 정확도를 달성한다. 기존 SIFT 기반 방법과의 격차를 좁히면서도 실시간 추론 성능 유지를 달성한다.

ABSTRACT

Deep learning has shown to be effective for robust and real-time monocular image relocalisation. In particular, PoseNet is a deep convolutional neural network which learns to regress the 6-DOF camera pose from a single image. It learns to localize using high level features and is robust to difficult lighting, motion blur and unknown camera intrinsics, where point based SIFT registration fails. However, it was trained using a naive loss function, with hyper-parameters which require expensive tuning. In this paper, we give the problem a more fundamental theoretical treatment. We explore a number of novel loss functions for learning camera pose which are based on geometry and scene reprojection error. Additionally we show how to automatically learn an optimal weighting to simultaneously regress position and orientation. By leveraging geometry, we demonstrate that our technique significantly improves PoseNet's performance across datasets ranging from indoor rooms to a small city.

연구 동기 및 목표

• PoseNet의 강건성과 속도에도 불구하고 낮은 메트릭 정확도 문제를 해결하기 위해.
• 포지션과 오리엔테이션 회귀를 균형 잡는 데 있어 수동 하이퍼파rameter 조정이 필요 없도록 하기 위해.
• 손실 함수를 3차원 환경 기하학과 재투영 오차에 기반시켜 포즈 회귀 성능을 향상시키기 위해.
• 다양한 환경—실내 방에서부터 대규모 도시 지역까지—에서 끝에서 끝까지 강건하고 확장 가능한 학습을 가능하게 하기 위해.

제안 방법

• 장면 일致성을 직접 최적화하기 위해 2D-3D 재투영 오차 기반 기하학적 손실 함수를 제안한다.
• 포지션과 오리엔테이션 구성 요소 간 최적의 가중치를 자동으로 학습하는 불확실성 가중 손실을 도입한다.
• 기하학적 제약 조건을 네트워크에 역전파하기 위해 가역적인 재투영 오차 레이어를 사용한다.
• 동질적 불확실성 추정을 활용해 학습 중에 포지션과 회전 손실을 적응적으로 균형 잡는다.
• 분리된 최적화 단계 없이 단일 단계 학습 파이프라인에서 손실 함수를 끝에서 끝까지 적용한다.
• RGB 이미지만을 사용하여 단일 프로퍼그레이션을 통해 6-DOF 카메라 포즈를 회귀한다.

실험 결과

연구 질문

• RQ1 기하학적 제약 조건은 딥러닝 기반 카메라 포즈 회귀의 메트릭 정확도를 향상시킬 수 있는가?
• RQ2 포지션과 오리엔테이션 손실을 균형 잡는 데 있어 수동 하이퍼파rameter 조정이 제거될 수 있는가?
• RQ3 재투영 오차 최적화는 다양한 환경에서 더 나은 일반화 성능을 이끌 수 있는가?
• RQ4 기하학적 기반 손실은 표준 회귀 손실 대비 강건성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 7 Scenes 데이터셋에서 중앙값 위치 오차는 0.13m(포지션)와 4.48°(오리엔테이션)로 감소하여 PoseNet 기준선보다 뚜렷이 향상되었다.
• Dubrovnik 데이터셋에서 평균 위치 오차 7.9m와 평균 오리엔테이션 오차 4.4°를 기록하여 원본 PoseNet을 초월하고 SIFT 기반 방법에 근접하였다.
• 체스와 화재와 같은 실내 환경에서 제안된 손실 함수는 원본 PoseNet 손실 대비 오차를 최대 70%까지 감소시켰다.
• 50,000m²의 대규모 실외 환경에서 0.88m의 중앙값 위치 오차로 미터 이내 정확도를 달성하여 대규모 영역에 대한 확장성을 입증하였다.
• 불확실성 기반 손실은 최적의 가중치를 자동으로 학습하여 수동 조정이 필요 없음을 입증하였다.
• 실시간 추론(1장당 5ms)을 유지하면서도 전통적인 SIFT 기반 방법에 근접한 성능을 달성하였으며, 이는 더 큰 입력 이미지가 필요하고 훨씬 느린 방법과 대비된다.