[논문 리뷰] Backtracking Regression Forests for Accurate Camera Relocalization

Lili Meng, Jianhui Chen외 4명|arXiv (Cornell University)|2017. 10. 22.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 14

한 줄 요약

이 논문은 균형 잡힌 트리 분할을 위한 샘플 균형 목적함수와 탐욕적 분할에서 발생하는 잘못된 2D-3D 대응 예측을 수정하기 위한 새로운 백트래킹 기법을 도입함으로써 카메라 재현위치 정확도를 향상시키기 위해 백트래킹 회귀 숲(BTBRF)을 제안한다. 이 방법은 추론 시 깊이 이미지를 요구하지 않으며, 실내 및 실외 환경에서 고정밀도 RGB 전용 카메라 재현위치를 가능하게 하여 공개 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Camera relocalization plays a vital role in many robotics and computer vision tasks, such as global localization, recovery from tracking failure, and loop closure detection. Recent random forests based methods directly predict 3D world locations for 2D image locations to guide the camera pose optimization. During training, each tree greedily splits the samples to minimize the spatial variance. However, these greedy splits often produce uneven sub-trees in training or incorrect 2D-3D correspondences in testing. To address these problems, we propose a sample-balanced objective to encourage equal numbers of samples in the left and right sub-trees, and a novel backtracking scheme to remedy the incorrect 2D-3D correspondence predictions. Furthermore, we extend the regression forests based methods to use local features in both training and testing stages for outdoor RGB-only applications. Experimental results on publicly available indoor and outdoor datasets demonstrate the efficacy of our approach, which shows superior or on-par accuracy with several state-of-the-art methods.

연구 동기 및 목표

• 카메라 재현위치를 위한 회귀 숲에서 탐욕적 분할로 인해 발생하는 정확하지 않은 2D-3D 대응 예측을 해결하기 위해.
• 트리의 하위 트리에서 샘플 균형을 강제로 적용하여 학습 시간을 단축하고 예측 정확도를 향상시키기 위해.
• 깊이 데이터에 의존하지 않고도 실외 환경에서 견고한 카메라 재현위치를 가능하게 하기 위해.
• 부적절한 트리 분할로 인한 잘못된 예측을 수정하기 위한 백트래킹 메커니즘 개발을 위해.
• RGB 입력만을 사용하여도 실내 및 실외 데이터셋에서 최신 기술 수준의 정확도를 달성하기 위해 회귀 숲 기반 방법을 확장하기 위해.

제안 방법

• 트리 학습 중 왼쪽 및 오른쪽 자식 노드에 균형 잡힌 샘플 분포를 유도하는 샘플 균형 목적함수를 도입하여, 탐욕적 공간 분산 최소화로 인한 불균형을 감소시킨다.
• 추론 중에 여러 개의 리프 노드를 탐색하여 최적의 2D-3D 대응 예측을 선택하는 백트래킹 기법을 제안하여, 부적절한 분할로 인한 오류를 수정한다.
• 학습 및 테스트 모두에서 SIFT 局부 특징을 회귀 숲에 통합하여 깊이 감독 없이도 RGB 전용 카메라 재현위치를 가능하게 한다.
• 다단계 추론 파이프라인을 사용한다: 특징 추출, 회귀 숲 예측, 후보 리프 노드에 대한 백트래킹, RANSAC 기반 자세 최적화.
• 계산 비용을 제한하면서 정확도를 향상시키기 위해 최대 백트래킹 리프 수(N_max = 16)를 설정한다.
• T=5개의 트리를 가진 랜덤 포레스트를 학습하며, 각 트리당 실내용 500장, 실외용 300장의 이미지를 사용하고, 각 이미지당 5,000개의 샘플 픽셀을 활용하여 학습한다.

실험 결과

연구 질문

• RQ1 샘플 균형 목적함수는 카메라 재현위치에서 회귀 숲의 정확도와 효율성을 향상시킬 수 있는가?
• RQ2 여러 리프 노드에 대한 백트래킹은 탐욕적 분할로 인한 잘못된 2D-3D 대응 예측을 수정할 수 있는가?
• RQ3 회귀 숲은 실외 환경에서 깊이 정보 없이도 고정밀도 카메라 재현위치를 달성할 수 있는가?
• RQ4 백트래킹하는 리프 노드의 수가 최종 재현위치 정확도에 어떤 영향을 미치는가?
• RQ5 회귀 숲에 국부적 특징을 통합하면 깊이 감독 없이도 RGB 전용 데이터셋에서 견고한 성능을 달성할 수 있는가?

주요 결과

• 제안된 샘플 균형 목적함수는 분할 과정에서 트리 불균형을 최소화함으로써 학습 시간을 단축시키고 예측 정확도를 향상시킨다.
• 최대 16개의 리프 노드에 대한 백트래킹은 중앙 이동 오차와 회전 오차를 크게 감소시키며, 특히 첫 5개의 노드에서 가장 큰 향상이 관찰된다.
• Cambridge Landmark 데이터셋에서 BTBRF는 중앙 이동 오차 1.25 cm, 중앙 회전 오차 0.42°를 기록하여 여러 최신 기술 수준의 방법들을 능가한다.
• TUM RGB-D 데이터셋에서 BTBRF는 중앙 이동 오차 1.85 cm, 중앙 회전 오차 0.65°를 기록하여 기존 방법들과 동등하거나 이를 초월하는 성능을 보였다.
• 이 방법은 깊이 정보 없이도 실내 및 실외 데이터셋 모두에서 고정밀도 성능을 달성하여, 회귀 숲 기반의 깊이 없음 카메라 재현위치의 가능성을 입증한다.
• 정성적 결과는 실내 및 실외 환경 모두에서 매우 정확한 카메라 경로 추정과 자세 정렬을 보여주며, 진짜 값에서 최소한의 편차를 보였다.