[논문 리뷰] Scene Coordinate Regression with Angle-Based Reprojection Loss for Camera Relocalization

Xiaotian Li, Juha Ylioinas외 2명|arXiv (Cornell University)|2018. 08. 15.

Robotics and Sensor-Based Localization참고 문헌 40인용 수 3

한 줄 요약

이 논문은 카메라 재로컬라이제이션에서 장면 좌표 회귀를 위한 각도 기반 재투영 손실을 제안하며, 정교한 초기화 없이 엔드 투 엔드 학습을 가능하게 하고 자세 정확도를 향상시킨다. 이 방법은 새로운 손실을 통해 다중 시야 제약 조건을 활용하여 7-Scenes 및 Cambridge Landmarks 데이터셋에서 최신 기술 수준의 성능을 달성하며, 초기화 없이 DSAC++ 대비 8.8% 포인트 향상된 성능을 기록한다.

ABSTRACT

Image-based camera relocalization is an important problem in computer vision and robotics. Recent works utilize convolutional neural networks (CNNs) to regress for pixels in a query image their corresponding 3D world coordinates in the scene. The final pose is then solved via a RANSAC-based optimization scheme using the predicted coordinates. Usually, the CNN is trained with ground truth scene coordinates, but it has also been shown that the network can discover 3D scene geometry automatically by minimizing single-view reprojection loss. However, due to the deficiencies of the reprojection loss, the network needs to be carefully initialized. In this paper, we present a new angle-based reprojection loss, which resolves the issues of the original reprojection loss. With this new loss function, the network can be trained without careful initialization, and the system achieves more accurate results. The new loss also enables us to utilize available multi-view constraints, which further improve performance.

연구 동기 및 목표

• 카메라 재로컬라이제이션을 위한 장면 좌표 회귀 네트워크에서 정교한 초기화가 필요 없도록 하는 것.
• 기본 재투영 손실보다 더 견고한 손실 함수를 설계하여 국소화 정확도를 향상시키는 것.
• 학습 중에 다중 시야 기하 제약 조건을 효과적으로 활용하여 3차원 기하 구조 탐색을 향상시키는 것.
• 새로운 손실이 진정한 장면 좌표가 가용하지 않을 경우에도 수렴 가능하고 더 나은 성능을 내는지 보여주는 것.

제안 방법

• 예측된 3차원 점 투영과 진짜 3차원 점 투영 간의 각도 차이를 측정하는 각도 기반 재투영 손실을 제안하며, 기존의 L2 재투영 오차를 대체한다.
• 이 손실을 사용하여 단일 RGB 이미지에서 3차원 장면 좌표를 예측하는 CNN을 학습시키며, 사전 좌표 초기화 없이 엔드 투 엔드 학습을 가능하게 한다.
• 학습 중에 여러 시야 간의 대응 2D-3D 매칭에 대해 각도 기반 손실을 적용하여 다중 시야 제약 조건을 통합한다.
• 예측의 정규화와 기하 일관성 향상을 위해 각도 기반 재투영 손실과 광학적 복원 손실을 결합한다.
• 두 단계 파이프라인을 활용한다: CNN을 통한 좌표 예측, 그 다음에 예측된 2D-3D 대응에서 RANSAC 기반 자세 추정.
• 다중 시야 손실과 광학적 복원 손실 간의 균형 가중치 λ를 조정하여 과도한 정규화로 인한 성능 저하를 방지한다.

실험 결과

연구 질문

• RQ1 새로운 손실 함수가 카메라 재로컬라이제이션을 위한 장면 좌표 회귀에서 정교한 초기화가 필요 없도록 할 수 있는가?
• RQ2 각도 기반 재투영 손실이 기존 재투영 손실보다 더 나은 수렴과 더 높은 정확도를 제공하는가?
• RQ3 새로운 손실 함수를 사용할 때 다중 시야 기하 제약 조건을 효과적으로 활용할 수 있는가?
• RQ4 광학적 복원 손실의 통합이 좌표 네트워크 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 각도 기반 재투영 손실은 초기화 없이도 좌표 네트워크의 성공적인 학습을 가능하게 하며, 7-Scenes 데이터셋에서 2cm, 1.0° 임계값 기준 88.6%의 정확도를 달성하여 초기화 없이 DSAC++ 대비 8.8% 포인트 향상된 성능을 기록한다.
• Cambridge Landmarks 데이터셋에서 네 번째 시나리오를 제외한 다섯 개 시나리오 중 네 개에서 DSAC++보다 더 높은 중앙값 자세 정확도를 달성하여 다양한 환경에서 일관된 향상을 입증한다.
• 새로운 손실을 통해 다중 시야 제약 조건을 통합하면 성능 향상이 이루어지며, 각도 기반 재투영 손실과 광학적 복원 손실을 결합했을 때 최고의 성능을 기록한다.
• 기존 재투영 손실을 사용해 초기화 없이 학습시키면 대부분의 시나리오에서 수렴하지 못하므로, 안정적인 학습을 위해 제안된 손실이 필수적임을 시사한다.
• 완전한 7-Scenes 벤치마크에서 71.8%의 정확도를 기록하며, 초기화 없이 DSAC++를 초월하고, 전체 3D 모델 감독을 받는 DSAC++의 성능(76.1%)에 근접한 성능을 달성한다.
• 민감도 분석 결과, 부적절한 가중치 설정(예: 광학적 손실에 대해 λ=50)은 성능을 저하시키므로, 철저한 하이퍼파rameter 튜닝이 필요함을 나타낸다.