[논문 리뷰] Real-time Image-based 6-DOF Localization in Large-Scale Environments

Hyon Lim, Sudipta N. Sinha외 2명|arXiv (Cornell University)|2012. 03. 20.

Robotics and Sensor-Based LocalizationEngineering인용 수 18

한 줄 요약

이 논문은 SfM 재구성 점군을 사용하여 대규모 환경에서 실시간, 단안 영상 기반 6-DOF 위치 추정 방법을 제시한다. 프레임 윈도우 동안 스퍼스하고 사전 인덱싱된 DAISY 기반 기술자 매칭과 함께 빠른 이진 기술자 추적기를 교차 적용하여, 랩톱에서 30 Hz 이상, 모바일 플랫폼에서는 12 Hz에서 안정적이고 저지연의 위치 추정을 달성하며, 온라인 척도 불변 특징 추출이 필요 없게 된다.

ABSTRACT

We present a real-time approach for image-based localization within large scenes that have been reconstructed offline using structure from motion (Sfm). From monocular video, our method continuously computes a precise 6-DOF camera pose, by efficiently tracking natural features and matching them to 3D points in the Sfm point cloud. Our main contribution lies in efficiently interleaving a fast keypoint tracker that uses inexpensive binary feature descriptors with a new approach for direct 2D-to-3D matching. The 2D-to-3D matching avoids the need for online extraction of scale-invariant features. Instead, offline we construct an indexed database containing multiple DAISY descriptors per 3D point extracted at multiple scales. The key to the efficiency of our method lies in invoking DAISY descriptor extraction and matching sparingly during localization, and in distributing this computation over a window of successive frames. This enables the algorithm to run in real-time, without fluctuations in the latency over long durations. We evaluate the method in large indoor and outdoor scenes. Our algorithm runs at over 30 Hz on a laptop and at 12 Hz on a low-power, mobile computer suitable for onboard computation on a quadrotor micro aerial vehicle.

연구 동기 및 목표

• 단안 영상에서 대규모 실내 및 실외 환경에서 실시간 정확한 6-DOF 카메라 자세 추정을 가능하게 하기 위해.
• 위치 추정 중 온라인 척도 불변 특징 추출의 계산 병목 현상을 극복하기 위해.
• 장기간에 걸쳐 성능 변동 없이 일관된 저지연을 유지하기 위해.
• 쿼드로터 UAV와 같은 저전력 모바일 플랫폼에 배치하여 차량 내 항법을 지원하기 위해.

제안 방법

• 실시간 2D 특징 추적을 위해 저비용 이진 기술자 기반의 빠른 키포인트 추적기를 사용한다.
• 다중 척도에서 추출한 다수의 DAISY 기술자를 3D 점마다 보관한 사전 인덱싱된 데이터베이스를 쿼리하여 2D-3D 매칭을 수행한다.
• DAISY 기술자 추출 및 매칭은 희소하게 수행되며, 연속된 프레임의 슬라이딩 윈도우에 걸쳐 분산되어 정확성과 효율성의 균형을 이룬다.
• 기술자 계산을 사전에 수행하고 인덱싱하여 온라인 특징 추출을 피함으로써 런타임 계산을 감소시킨다.
• 기술자 계산을 시간에 걸쳐 분산시켜 알고리즘은 실시간 성능을 유지한다.
• SfM 점군에서 유래한 추적된 2D 특징과 그 3D 대응점을 활용하여 자세 추정을 지속적으로 개선한다.

실험 결과

연구 질문

• RQ1 단안 영상과 사전에 생성된 SfM 재구성 자료만을 사용하여 대규모 환경에서 실시간 6-DOF 위치 추정이 가능할 수 있는가?
• RQ2 온라인 척도 불변 특징 추출 없이도 실시간으로 실행 가능한 2D-3D 매칭을 어떻게 구현할 수 있는가?
• RQ3 프레임 윈도우에 걸쳐 기술자 계산을 분산시킬 경우 정확성과 계산 부담 간의 성능 트레이드오프는 어떠한가?
• RQ4 동적 환경에서 장기간에 걸쳐 일관된 지연을 유지할 수 있는가?
• RQ5 마이크로 항공기와 같은 저전력 모바일 플랫폼에 배치하기에 적합한가?

주요 결과

• 표준 랩톱에서 30 Hz 이상의 위치 추정 성능을 달성하여 실시간 운영이 가능하다.
• 저전력 모바일 컴퓨터에서 12 Hz로 작동하여 쿼드로터 마이크로 항공기에서 차량 내 계산에 적합하다.
• 장시간 운영 중에도 성능 변동 없이 안정적인 지연을 유지한다.
• 다양한 척도에서 사전에 DAISY 기술자를 추출하고 인덱싱함으로써 고비용의 온라인 특징 추출을 피할 수 있다.
• 단안 영상과 SfM 데이터만을 사용하여 대규모 실내 및 실외 환경에서 정확한 6-DOF 위치 추정이 가능하다.
• 프레임 윈도우를 활용한 기술자 계산 분산으로 높은 효율성과 함께 추적의 강건성을 유지한다.