[論文レビュー] MultiCol-SLAM - A Modular Real-Time Multi-Camera SLAM System

Steffen Urban, Stefan Hinz|arXiv (Cornell University)|Oct 24, 2016

Robotics and Sensor-Based Localization参考文献 5被引用数 20

ひとこと要約

本稿では、剛体で結合された複数の魚眼カメラセット用に、ローカライゼーションの精度と耐障害性を向上させるためのマルチカラムモデルを用いた、モジュラーでリアルタイムなSLAMシステムであるMultiCol-SLAMを提案する。ORB-SLAMを拡張し、マルチカメラ統合、キーフレームベース最適化、並列処理を実装することで、特に動的で困難な環境において、並進および回転の両方の精度が著しく向上した。複数の軌道における真値評価により、その有効性が実証された。

ABSTRACT

The basis for most vision based applications like robotics, self-driving cars and potentially augmented and virtual reality is a robust, continuous estimation of the position and orientation of a camera system w.r.t the observed environment (scene). In recent years many vision based systems that perform simultaneous localization and mapping (SLAM) have been presented and released as open source. In this paper, we extend and improve upon a state-of-the-art SLAM to make it applicable to arbitrary, rigidly coupled multi-camera systems (MCS) using the MultiCol model. In addition, we include a performance evaluation on accurate ground truth and compare the robustness of the proposed method to a single camera version of the SLAM system. An open source implementation of the proposed multi-fisheye camera SLAM system can be found on-line https://github.com/urbste/MultiCol-SLAM.

研究の動機と目的

• 任意の剛体的配置を持つ複数魚眼カメラシステム向けに、耐障害性がありリアルタイムなSLAMソリューションが不足しているという問題に取り組む。
• 単一カメラでは失敗する動的かつ複雑な環境において、ローカライゼーションの精度と耐障害性を向上させる。
• 特にORB-SLAMを代表とするキーフレームベースSLAMの最先端技術を、マルチカメラシステムに対応させるためにマルチカラムモデルを用いて拡張する。
• 並列処理と効率的なボンデッジ最適化をサポートする、モジュラーでオープンソースのマルチカメラSLAMフレームワークを提供する。
• さまざまな運動状態とシーンの複雑さを有する複数の実世界の軌道を用いて、真値との比較によるシステム性能の検証を行う。

提案手法

• 本システムは、複数の剛体で結合された魚眼カメラ間で幾何的整合性を強制するマルチカラムモデルをORB-SLAMに統合することで拡張される。
• トラッキング、マッピング、ローカルボンデッジ最適化の並列スレッドを用いることで、マルチカメラ入力に対してもリアルタイム性能を達成する。
• 特徴抽出は全カメラで並列に実行され（1カメラあたり400特徴点）、キーフレーム選択は運動および視覚不変性に基づく。
• ポーズ推定には本質行列ベースの初期化が用いられ、魚眼カメラモデルの特性に起因する課題を克服するため、並進ベクトルの大きさのしきい値を用いたロバストな選択が実施される。
• キーフレームに対してローカルボンデッジ最適化を適用し、カメラポーズおよび3次元マップポイントを精緻化する。マップポイントは幾何的制約を用いて複数視点から統合される。
• 評価の際には、軌道のアライメントに7自由度の類似変換を用い、正確なATEおよびRPE指標の算出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意の剛体的結合を持つマルチカメラシステム、特に魚眼カメラに対して、モジュラーでリアルタイムなSLAMシステムを効果的に拡張できるか？
• RQ2 動的で複雑な環境において、マルチカメラ統合は単一カメラSLAMに比べてSLAMの精度と耐障害性をどのように向上させるか？
• RQ3 制御された真値条件下で、1台の魚眼カメラと比較して複数の魚眼カメラを用いることで、並進および回転の精度にどの程度の向上が得られるか？
• RQ4 並列処理とスパース最適化を用いることで、複数カメラからの増加するデータを処理しながら、リアルタイム性能をどのように維持できるか？
• RQ5 マルチカラムモデルは、標準の単一カメラSLAMパイプラインと比較して、マルチカメラSLAMにおける整合性の向上とドリフト低減にどの程度寄与するか？

主な発見

• レーザートラックされた軌道では、MultiCol-SLAMの中央値並進精度が1.4 cmに達し、単一カメラSLAMの31.0 cmと比較して95.5%の改善を示した。
• 速歩きのレーザートラック軌道では、並進精度が単一カメラの28.1 cmからMultiCol-SLAMの5.3 cmにまで低下し、誤差が81.1%減少した。
• 屋内動的環境では、並進誤差が32.4 cmから2.1 cmにまで低減され、93.5%の改善が達成され、回転精度の向上も顕著であった。
• マルチカメラSLAMの中央値RPEは1.2 cm / 0.33°であったのに対し、単一カメラSLAMは1.95 cm / 0.32°であり、短基準距離トラッキング性能が優れていることが示された。
• 屋外動的軌道では、単一カメラSLAMでトラッキング失敗が発生した（「X」とマークされた）、一方、MultiCol-SLAMは全シーケンスを正常にトラッキングした。
• 1フレームあたりの総処理時間は、マルチカメラで28 ms、単一カメラで21 msであり、マルチカメラ処理の追加的複雑さがリアルタイムで管理可能であることが示された。