[논문 리뷰] Scene Coordinate and Correspondence Learning for Image-Based Localization

Mai Bui, Shadi Albarqouni외 2명|arXiv (Cornell University)|2018. 05. 22.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 16

한 줄 요약

이 논문은 단일 RGB 이미지에서 장면 좌표와 그 예측 신뢰도를 동시에 회귀하는 딥러닝 프레임워크를 제안한다. 2D-3D 대응 관계에 대한 신뢰도 점수를 예측함으로써, 이 방법은 오염된 데이터를 조기에 걸러내어 더 견고한 자세 추정과 정밀 조정을 가능하게 하며, RGB 입력을 사용할 때 7-Scenes 데이터셋에서 회전 오차 3.1°, 이동 오차 4.0 cm의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Scene coordinate regression has become an essential part of current camera re-localization methods. Different versions, such as regression forests and deep learning methods, have been successfully applied to estimate the corresponding camera pose given a single input image. In this work, we propose to regress the scene coordinates pixel-wise for a given RGB image by using deep learning. Compared to the recent methods, which usually employ RANSAC to obtain a robust pose estimate from the established point correspondences, we propose to regress confidences of these correspondences, which allows us to immediately discard erroneous predictions and improve the initial pose estimates. Finally, the resulting confidences can be used to score initial pose hypothesis and aid in pose refinement, offering a generalized solution to solve this task.

연구 동기 및 목표

• 장애물 및 낮은 무늬 텍스처 조건에서의 카메라 재현지정 정확도를 향상시키기 위해, 장면 좌표 예측을 위한 딥러닝 기반 접근을 활용한다.
• RANSAC 기반 방법의 한계를 보완하기 위해 2D-3D 대응 관계에 대한 신뢰도 예측을 도입하여 오류 매칭을 조기에 걸러낸다.
• 초기 자세 가설 품질을 향상시키고 최적화 임계값을 하드코딩하지 않으면서도 다양한 자세 조정을 지원하는 일반화된 프레임워크를 개발한다.
• 다양한 손실 함수와 정규화 기법이 장면 좌표 회귀 품질에 미치는 영향을 분석한다.
• 신뢰도 예측이 직접 자세 회귀나 표준 대응 기반 방법보다 더 우수한 성능을 내는지 입증한다.

제안 방법

• 딥 네ural 네트워크를 학습시켜 단일 RGB 입력 이미지의 각 픽셀에 대해 고밀도 3D 장면 좌표를 예측한다.
• 회귀된 장면 좌표의 공간 일관성을 향상시키기 위해 손실 함수에 새로운 스무딩 정규화 항을 도입한다.
• 각 2D-3D 대응 관계의 신뢰도를 예측하는 별도의 신뢰도 헤드를 학습시켜, 낮은 신뢰도 매칭을 조기에 거부할 수 있도록 한다.
• 신뢰도 점수를 사용해 자세 가설을 평가하고 필터링한 후에 정밀 조정을 수행함으로써 오염된 데이터에 대한 견고성을 향상시킨다.
• PnP 또는 Kabsch 알고리즘을 사용해 자세 추정을 수행하며, 정밀 조정은 신뢰도 가중치가 부여된 대응 관계를 활용한다.
• 모듈러 구조를 갖추고 있어 다양한 자세 추정 알고리즘과 호환되며, 즉시 통합이 가능하다.

실험 결과

연구 질문

• RQ1 표준 대응 기반 방법과 비교할 때, 장면 좌표와 그 신뢰도 점수를 동시에 회귀하는 것이 카메라 재현지정 정확도를 향상시키는가?
• RQ2 손실 함수에 스무딩 정규화 항을 포함시킬 경우, 회귀된 장면 좌표의 품질과 일관성은 어떻게 영향을 받는가?
• RQ3 신뢰도 예측이 오류 매칭 수를 얼마나 줄이고 자세 추정의 견고성을 향상시키는가?
• RQ4 직접 자세 회귀 기반 기준 모델(PoseNet)과 최신 기술 수준의 대응 기반 방법(DSAC)과 비교할 때, 제안된 방법은 어떻게 성능을 내는가?
• RQ5 신뢰도 기반 필터링 메커니즘이 재학습 없이 다양한 장면과 데이터셋에 일반화되는가?

주요 결과

• 제안된 방법은 RGB 입력만을 사용할 때 7-Scenes 데이터셋에서 중앙값 회전 오차 3.1°, 이동 오차 4.0 cm를 달성하여 PoseNet을 능가하고 최신 기술 수준의 방법들과 동등한 성능을 보였다.
• RGB-D 입력을 사용할 경우, 중앙값 오차는 각각 2.5°와 5.2 cm로 나타나, RGB 전용 결과보다 뚜렷한 향상과 장면 좌표 회귀 숲과 비교해도 뛰어난 성능을 보였다.
• 신뢰도 예측 메커니즘이 자세 추정에 필요한 내측점 수를 줄여, 더 적은 대응 관계로도 정확한 결과를 도출할 수 있도록 했다.
• 표준 PnP와 RANSAC를 사용할 때도, 자세 가설 생성 이전에 낮은 신뢰도 대응 관계를 필터링함으로써 자세 정확도가 향상되었다.
• 계산 효율성이 뛰어나, GPU 가속을 통한 네트워크 추론을 사용할 경우 CPU에서 1.06초 내로 실행되며, Python으로 구현된 점을 감안할 때 C++ 기반 DSAC보다 빠른 성능을 보였다.
• 제거 분석 결과, 특히 Stairs와 같이 도전적인 장면에서는 기준 방법 대비 오차를 50% 이상 감소시켜 신뢰도 예측이 자세 정확도 향상에 크게 기여하는 것으로 확인되었다.