[논문 리뷰] PIRVS: An Advanced Visual-Inertial SLAM System with Flexible Sensor Fusion and Hardware Co-Design

Zhe Zhang, Shaoshan Liu외 4명|arXiv (Cornell University)|2017. 10. 02.

Robotics and Sensor-Based Localization참고 문헌 10인용 수 5

한 줄 요약

PIRVS는 실시간 SLAM을 위한 하드웨어-소프트웨어 공동 설계된 시각-자이로스코프 SLAM 시스템을 제안한다. 이 시스템은 멀티코어 프로세서, 글로벌 셔터 스테레오 카메라, 동기화된 자이로스코프 측정 장치를 통합하여 실시간 SLAM을 구현한다. 유연한 센서 융합 기법을 통해 시각적 데이터와 자이로스코프 데이터를 밀접하게 결합하면서도 추가 센서는 느슨하게 통합함으로써 일반 PC에서 최신 기술 수준의 정확도를 달성하고, 전용 하드웨어 플랫폼에서는 뛰어난 효율성을 확보한다.

ABSTRACT

In this paper, we present the PerceptIn Robotics Vision System (PIRVS) system, a visual-inertial computing hardware with embedded simultaneous localization and mapping (SLAM) algorithm. The PIRVS hardware is equipped with a multi-core processor, a global-shutter stereo camera, and an IMU with precise hardware synchronization. The PIRVS software features a novel and flexible sensor fusion approach to not only tightly integrate visual measurements with inertial measurements and also to loosely couple with additional sensor modalities. It runs in real-time on both PC and the PIRVS hardware. We perform a thorough evaluation of the proposed system using multiple public visual-inertial datasets. Experimental results demonstrate that our system reaches comparable accuracy of state-of-the-art visual-inertial algorithms on PC, while being more efficient on the PIRVS hardware.

연구 동기 및 목표

• 임베디드 로봇 응용 분야를 대상으로 하드웨어와 소프트웨어를 공동 설계한 실시간 시각-자이로스코프 SLAM 시스템을 개발한다.
• 핵심 센서 간의 밀접한 융합과 추가 센서 모odalities의 느슨한 결합을 지원하는 탄력적인 센서 융합을 가능하게 한다.
• 일반 목적 PC에서 최신 기술 수준의 알고리즘과 비교해 높은 정확도를 달성하면서도 전용 임베디드 하드웨어에서의 계산 효율성을 향상시킨다.
• 표준 PC와 전용 PIRVS 하드웨어 플랫폼에서 모두 효율적으로 작동하는 완전하고 구현 가능한 시스템을 제공한다.

제안 방법

• 시스템은 멀티코어 프로세서를 사용하여 실시간으로 시각적 및 자이로스코프 데이터 스트림을 처리한다.
• 글로벌 셔터 스테레오 카메라는 고속이며 움직임 왜곡이 없는 영상을 캡처하여 안정적인 시각적 기능 추적을 가능하게 한다.
• 정밀한 하드웨어 동기화 기능을 갖춘 자이로스코프는 영상 프레임과 시간적으로 정렬된 정확한 관성 측정을 제공한다.
• 소프트웨어는 요소 그래프 기반 최적화 방법을 사용하여 시각적 및 관성 측정 데이터를 밀접하게 융합하는 새로운 센서 융합 프레임워크를 구현한다.
• 추가 센서 모달리티는 모듈식 인터페이스를 통해 느슨하게 통합되어 핵심 SLAM 파이프라인에 영향을 주지 않으면서도 확장성을 확보한다.
• 성능 비교 분 析를 위해 시스템은 표준 PC와 전용 PIRVS 임베디드 하드웨어 플랫폼 양쪽에 배포되고 평가된다.

실험 결과

연구 질문

• RQ1 최소한의 지연과 높은 처리량을 확보하기 위해 전용 임베디드 하드웨어 플랫폼에서 시각-자이로스코프 SLAM을 어떻게 효율적으로 구현할 수 있는가?
• RQ2 임베디드 하드웨어에서 밀접하게 융합된 시각-자이로스코프 시스템은 최신 기술 수준의 PC 기반 구현과 비교해 어떤 정도의 정확도를 달성할 수 있는가?
• RQ3 센서 융합을 얼마나 탄력적으로 설계할 수 있는가? 이는 핵심 센서의 밀접한 융합과 추가 모달리티의 느슨한 결합을 모두 지원할 수 있도록 해야 한다.
• RQ4 하드웨어-소프트웨어 공동 설계가 시각-자이로스코프 SLAM 시스템에서 계산 효율성과 실시간 성능을 어떻게 향상시키는가?
• RQ5 일관된 소프트웨어 스택이 일반 목적 플랫폼과 특수화된 임베디드 플랫폼 양쪽에서 중대한 재구현 없이도 효율적으로 작동할 수 있는가?

주요 결과

• 표준 PC에서 실행할 경우 PIRVS 시스템은 최신 기술 수준의 시각-자이로스코프 SLAM 알고리즘과 비교해 유사한 정확도를 확보한다.
• 전용 PIRVS 하드웨어 플랫폼에서 시스템은 PC 기반 실행 대비 뚜렷한 계산 효율성 향상을 보였다.
• 하드웨어 동기화된 다중 센서 구성(스테레오 카메라 + 자이로스코프)은 강력하고 저지연의 데이터 융합을 가능하게 하여 SLAM 추정의 드리프트를 감소시켰다.
• 탄력적인 센서 융합 프레임워크는 시각적 및 관성 데이터의 밀접한 융합과 추가 센서의 느슨한 결합을 성공적으로 지원하여 시스템의 확장성을 향상시켰다.
• 시스템은 PC와 임베디드 하드웨어 양쪽에서 실시간 성능을 유지하여 하드웨어-소프트웨어 공동 설계 접근법의 효과성을 입증했다.
• 다양한 공개 시각-자이로스코프 데이터셋을 통한 평가 결과, 시스템은 다양한 환경과 운동 프로파일에서 뛰어난 강건성과 정확도를 확보하였다.