[논문 리뷰] On-the-Fly Adaptation of Regression Forests for Online Camera Relocalisation

Tommaso Cavallari, Stuart Golodetz외 4명|arXiv (Cornell University)|2017. 02. 09.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 13

한 줄 요약

이 논문은 새로운 환경에서 오프라인 학습 없이 실시간 카메라 재현위치 설정을 가능하게 하기 위해 회귀 숲에 대한 온라인 적응 방법을 제안한다. 숲의 트리 구조를 유지하면서 새로운 환경 데이터를 사용해 현장별로 특화된 리프 노드를 온라인으로 재채우는 방식으로, 150ms 이내에 오프라인 숲과 유사한 재현위치 설정 성능을 달성하여 새로운 자세에서의 안정적인 재현위치 설정을 가능하게 한다.

ABSTRACT

Camera relocalisation is an important problem in computer vision, with applications in simultaneous localisation and mapping, virtual/augmented reality and navigation. Common techniques either match the current image against keyframes with known poses coming from a tracker, or establish 2D-to-3D correspondences between keypoints in the current image and points in the scene in order to estimate the camera pose. Recently, regression forests have become a popular alternative to establish such correspondences. They achieve accurate results, but must be trained offline on the target scene, preventing relocalisation in new environments. In this paper, we show how to circumvent this limitation by adapting a pre-trained forest to a new scene on the fly. Our adapted forests achieve relocalisation performance that is on par with that of offline forests, and our approach runs in under 150ms, making it desirable for real-time systems that require online relocalisation.

연구 동기 및 목표

• 각 새로운 환경에서 오프라인 학습이 필요로 하는 회귀 숲 기반 카메라 재현위치 설정의 한계를 해결하기 위해.
• 사전 학습된 숲을 새로운 환경의 몇 장의 프레임만을 사용해 온라인으로 적응시켜, 이전에 본 적 없는 환경에서도 정확한 카메라 재현위치 설정을 가능하게 하기 위해.
• 완전히 학습된 오프라인 숲과 경쟁 가능한 재현위치 설정 성능를 달성하면서도, SLAM 및 AR/VR 응용 프로그램에 적합한 실시간 효율성을 유지하기 위해.
• 랜덤 페르너와 같은 关键 프레임 기반 방법의 낮은 일반화 능력 문제를 해결하기 위해, 학습 궤적 외의 새로운 자세에서의 재현위치 설정에 실패하는 문제를 해결하기 위해.

제안 방법

• 다양한 환경에 대해 넓은 범위의 2D-3D 대응 관계를 예측하기 위해 사전에 일반적인 회귀 숲을 학습하고, 트리의 구조와 분할 파라미터를 유지한다.
• 온라인 적응을 위해 숲의 리프 노드에서 환경에 특화된 정보를 제거하면서도 분기 구조는 그대로 유지한다.
• 새로운 환경의 소량의 학습 예제(이미지 및 3D 점 쌍)를 사용해 리프 노드를 온라인으로 재채우며, 이로써 숲이 환경에 특화된 대응 관계를 예측할 수 있도록 한다.
• 예측된 2D-3D 대응 관계를 Kabsch 알고리즘과 RANSAC에 입력해 강인한 카메라 자세 추정을 수행한다.
• 초기 추정 후에 ICP(반복 최소 거리)를 통한 반복 정밀 조정을 통해 자세 정확도를 추가로 향상시킨다.
• 온라인 적응 중에 효율적인 트리 탐색과 점진적인 리프 업데이트를 활용해 실시간 성능를 유지한다.

실험 결과

연구 질문

• RQ1 완전한 재학습 없이도 사전 학습된 회귀 숲을 새로운 환경에 온라인으로 적응시켜 실시간 재현위치 설정을 가능하게 할 수 있는가?
• RQ2 온라인으로 적응된 숲의 성능가 오프라인로 완전히 학습된 숲과 비교해 재현위치 설정 정확도에서 얼마나 우수한가?
• RQ3 학습 과정에서 본 바와는 거리가 먼 새로운 자세에서도 적응된 숲이 재현위치 설정을 성공적으로 수행할 수 있는가, 특히 학습 궤적에서 벗어난 자세에 대해서도 성능 저하가 적은가?
• RQ4 온라인 적응과 재현위치 설정의 계산 비용은 얼마이며, 실시간 시스템에 실용적으로 적용될 수 있는가?

주요 결과

• 온라인 적응된 회귀 숲은 7-Scenes 벤치마크에서 완전히 학습된 오프라인 숲과 동등한 재현위치 설정 성능를 달성한다.
• 학습 궤적에서 크게 다를 수 있는 새로운 자세에서 성공적으로 재현위치 설정을 수행하며, 랜덤 페르너와 같은 관건 프레임 기반 방법보다 성능 저하가 훨씬 느리게 나타난다.
• 재현위치 설정당 150ms 이내로 실행되어 SLAM 및 AR/VR과 같은 실시간 시스템에 실용적으로 적용 가능하다.
• ICP 정밀 조정을 통해 자세 정확도가 향상되며, 특히 도전적인 테스트 자세에서의 성능이 뛰어나 자세의 신선성에 대한 강인성을 입증한다.
• 온라인 학습은 프레임당 9.8ms, 재현위치 설정은 141ms 소요되며, 랜덤 페르너보다 느리지만 실시간 응용에 있어서는 수용 가능한 수준이다.
• 일반화 능력이 떨어지는 랜덤 페르너와 달리, 새로운 자세에서의 재현위치 설정 성능에서 본 방법이 뛰어나, 후자는 제한된 일반화 능력으로 인해 실패한다.