[論文レビュー] PIRVS: An Advanced Visual-Inertial SLAM System with Flexible Sensor Fusion and Hardware Co-Design

Zhe Zhang, Shaoshan Liu+4 more|arXiv (Cornell University)|Oct 2, 2017

Robotics and Sensor-Based Localization参考文献 10被引用数 5

ひとこと要約

PIRVSは、マルチコアプロセッサ、グローバルシャッターステレオカメラ、同期化されたIMUを統合した、ハードウェアとソフトウェアが共同で設計されたビジュアルインertialSLAMシステムであり、リアルタイムSLAMを実現する。柔軟なセンサフュージョンを採用し、ビジュアルデータとインertialデータを密に結合しながら、追加のセンサを緩く統合することで、一般用途PC上で最先端の精度を達成するとともに、専用ハードウェアプラットフォーム上で優れた効率性を実現している。

ABSTRACT

In this paper, we present the PerceptIn Robotics Vision System (PIRVS) system, a visual-inertial computing hardware with embedded simultaneous localization and mapping (SLAM) algorithm. The PIRVS hardware is equipped with a multi-core processor, a global-shutter stereo camera, and an IMU with precise hardware synchronization. The PIRVS software features a novel and flexible sensor fusion approach to not only tightly integrate visual measurements with inertial measurements and also to loosely couple with additional sensor modalities. It runs in real-time on both PC and the PIRVS hardware. We perform a thorough evaluation of the proposed system using multiple public visual-inertial datasets. Experimental results demonstrate that our system reaches comparable accuracy of state-of-the-art visual-inertial algorithms on PC, while being more efficient on the PIRVS hardware.

研究の動機と目的

• 組み込みロボティクス用途に最適化された、ハードウェアとソフトウェアが共同で設計されたリアルタイムビジュアルインエイシャルSLAMシステムの開発。
• コアセンサの密結合統合と、追加のセンサモダリティとの緩い結合を可能にする柔軟なセンサフュージョンの実現。
• 一般用途PC上で最先端のアルゴリズムと同等の高精度を達成するとともに、専用組み込みハードウェア上で計算効率を向上。
• 標準PCとカスタムPIRVSハードウェアプラットフォームの両方で効率的に実行可能な、完全でデプロイ可能なシステムの提供。

提案手法

• システムはマルチコアプロセッサを用い、ビジュアルおよびインエイシャルデータストリームのリアルタイム処理を実行。
• グローバルシャッターステレオカメラは、高速でモーションブラーのない画像を取得し、耐障害性の高いビジュアル特徴追跡を実現。
• 正確なハードウェア同期を備えたIMUが、画像フレームと時間的に整合した高精度なインエイシャル測定値を提供。
• ソフトウェアは、要因グラフに基づく最適化アプローチを用いて、ビジュアルおよびインエイシャル測定値を密に統合する新規なセンサフュージョンフレームワークを実装。
• 追加のセンサモダリティはモジュラーインターフェースを通じて緩く統合され、コアSLAMパイプラインに影響を与えることなく拡張性を実現。
• 性能比較分析のため、標準PCおよびカスタムPIRVS組み込みハードウェアプラットフォームの両方でシステムをデプロイおよび評価。

実験結果

リサーチクエスチョン

• RQ1 最小限のレイテンシと高いスループットを実現する専用組み込みハードウェアプラットフォーム上で、ビジュアルインエイシャルSLAMをどのように効率的に実装できるか？
• RQ2 組み込みハードウェア上で密に統合されたビジュアルインエイシャルシステムは、最先端のPCベース実装と比較してどの程度の精度を達成できるか？
• RQ3 センサフュージョンをどの程度柔軟に設計できるか。これにより、コアセンサの密結合統合と追加モダリティとの緩い結合の両方が可能になるか？
• RQ4 ハードウェア・ソフトウェア共同設計は、ビジュアルインエイシャルSLAMシステムにおける計算効率とリアルタイム性能をどのように向上させるか？
• RQ5 同一のソフトウェアスタックが、一般用途プラットフォームと専用組み込みプラットフォームの両方で顕著な再実装なしに効率的に実行可能か？

主な発見

• 標準PC上で実行されたPIRVSシステムは、最先端のビジュアルインエイシャルSLAMアルゴリズムと同等の精度を達成した。
• 専用PIRVSハードウェアプラットフォーム上では、PCベース実行と比較して著しく高い計算効率が実証された。
• ハードウェア同期化されたマルチセンサ構成（ステレオカメラ＋IMU）により、耐障害性が高く低レイテンシのデータフュージョンが可能となり、SLAM推定のドリフト低減が達成された。
• 柔軟なセンサフュージョンフレームワークは、ビジュアルおよびインエイシャルデータの密結合統合と、追加センサとの緩い結合の両方を効果的にサポートし、システムの拡張性を向上させた。
• PCおよび組み込みハードウェアの両方でリアルタイム性能を維持でき、ハードウェア・ソフトウェア共同設計アプローチの有効性が裏付けられた。
• 複数の公開ビジュアルインエイシャルデータセットを用いた評価により、多様な環境や運動プロファイルにおいて、本システムの耐障害性と精度の高さが確認された。