[논문 리뷰] Reassessing the Limitations of CNN Methods for Camera Pose Regression

Tony Ng, Adrian Lopez-Rodriguez외 2명|arXiv (Cornell University)|2021. 08. 16.

Robotics and Sensor-Based Localization인용 수 11

한 줄 요약

이 논문은 확률 기반 합성 시야 생성과 트랜스포머 기반 포즈 헤드를 통해 데이터 분포 편향을 해결함으로써, 기존의 3D 구조 기반 및 검색 기반 방법보다 뛰어난 성능을 보이는 새로운 CNN 기반 카메라 포즈 회귀 방법을 제안한다. 이는 캠브리지 랜드마크 벤치마크의 복잡한 스트리트 환경에서 이미지 검색을 능가한 최초의 회귀 기반 방법으로, 편향이 없는 훈련 데이터와 개선된 아키텍처가 3D 구조 기반 방법과의 성능 격차를 좁히는 데 성공함을 보여준다.

ABSTRACT

In this paper, we address the problem of camera pose estimation in outdoor and indoor scenarios. In comparison to the currently top-performing methods that rely on 2D to 3D matching, we propose a model that can directly regress the camera pose from images with significantly higher accuracy than existing methods of the same class. We first analyse why regression methods are still behind the state-of-the-art, and we bridge the performance gap with our new approach. Specifically, we propose a way to overcome the biased training data by a novel training technique, which generates poses guided by a probability distribution from the training set for synthesising new training views. Lastly, we evaluate our approach on two widely used benchmarks and show that it achieves significantly improved performance compared to prior regression-based methods, retrieval techniques as well as 3D pipelines with local feature matching.

연구 동기 및 목표

• CNN 기반 포즈 회귀와 3D 구조 기반 방법 사이의 성능 격차를 해소하기 위해, 훈련 데이터 분포의 편향이 원인임을 해결한다.
• 다양하고 분포가 일치하는 시야를 합성함으로써, 훈련 시점 외의 시점으로의 일반화 성능을 향상시킨다.
• 어려운 실외 환경에서 직접 회귀가 검색 및 3D 매칭 방법을 능가할 수 있음을 입증한다.
• 기존의 MLP보다 트랜스포머 기반 아키텍처가 상대적 포즈 회귀 성능을 향상시킴을 보여준다.
• 융합된 밀도 높은 및 희박한 깊이 정보를 활용한 합성 시야가 모델의 강건성과 정확도를 향상시킴을 검증한다.

제안 방법

• 확률 기반 시야 합성 파이프라인은 훈련 포즈의 경험적 분포에서 샘플링하여 새로운 훈련 포즈를 생성함으로써 데이터 편향을 감소시킨다.
• 희박한 메트릭 깊이(MVS에서 유도)와 밀도 높은 스케일 무관 깊이 예측을 융합하여 합성 이미지를 생성함으로써 시각적 품질을 향상시키고 잡음 요소를 줄인다.
• 기존의 MLP를 대체하여 상대적 포즈 관계를 더 잘 모델링할 수 있는 트랜스포머 기반 포즈 헤드를 도입한다.
• 실제 이미지 쌍과 합성된 이미지 쌍을 함께 훈련하며, 각 실사 이미지는 새로운 합성된 시야와 쌍을 이룬다.
• 합성 시야의 현실성과 일관성을 향상시키기 위해 밀도 높은 깊이 샘플링을 최적화한다. 특히 희박한 영역에서 효과가 뛰어나다.
• 일반화 성능과 데이터 효율성 평가를 위해 훈련 과정에서 분포 내 및 분포 외의 합성 시야를 모두 사용한다.

실험 결과

연구 질문

• RQ1 CNN 기반 포즈 회귀가 알려진 일반화 한계가 있음에도 불구하고, 3D 구조 기반 방법과 유사하거나 뛰어난 성능을 달성할 수 있는가?
• RQ2 훈련 포즈 분포에 기반한 합성 시야 생성이 훈련 데이터와 테스트 데이터 간의 도메인 시프트를 줄이는가?
• RQ3 이 맥락에서 트랜스포머 기반 아키텍처가 기존의 MLP보다 상대적 포즈 회귀 성능을 향상시키는가?
• RQ4 실제 데이터가 제한된 상황에서 합성 데이터를 사용할 경우 성능 향상 정도는 어느 정도인가?
• RQ5 회귀 전용 방법이 큰 복잡한 실외 환경에서 이미지 검색을 능가할 수 있는가?

주요 결과

• 트랜스포머와 합성 시야를 사용하여 캠브리지 랜드마크 벤치마크의 스트리트 환경에서 중앙값 오차 0.24/0.38을 달성했으며, 이는 MLP 기반 베이스라인과 이미지 검색 모두를 능가한다.
• 7 Scenes 데이터셋에서 실사 이미지의 10%와 그 합성 복제본만으로 훈련해도 100% 실사 이미지로 훈련한 경우보다 더 높은 성능를 기록했으며, 이는 데이터 효율성과 분포 일치가 데이터 양보다 더 중요함을 입증한다.
• 이 방법은 캠브리지 랜드마크 벤치마크에서 가장 크고 복잡한 스트리트 환경에서 이미지 검색 성능을 능가한 최초의 회귀 기반 접근법이다.
• 트랜스포머 기반 포즈 헤드는 MLP 대비 중앙값 오차를 최대 20%까지 감소시켜 상대적 포즈 관계 모델링에서의 우수성을 입증한다.
• 융합된 밀도 높은 및 희박한 깊이 정보를 활용한 합성 시야 생성은 구멍과 날아다니는 픽셀 등의 잡음 요소를 크게 줄여 모델의 일반화 능력을 향상시킨다.
• 완벽한 합성 이미지가 아니더라도 모델은 실재 테스트 이미지로 잘 일반화되며, 국소적 이미지 노이즈와 누락 영역에 대해 강건함을 보였다.