[論文レビュー] CubemapSLAM: A Piecewise-Pinhole Monocular Fisheye SLAM System

Yahui Wang, Shaojun Cai+5 more|arXiv (Cornell University)|Nov 30, 2018

Robotics and Sensor-Based Localization参考文献 24被引用数 7

ひとこと要約

CubemapSLAM は、魚眼レンズの歪みを除去しながらも全視野角を維持するキューブマップ投影を用いて、モノクローラル魚眼カメラ向けのリアルタイムで特徴ベースの SLAM システムを提案する。魚眼カメラを6枚のピECWISE-PINHOLE面としてモデル化することで、統一されたベクトル表現と新規の再投影誤差メトリクスを用いて、効率的な特徴マッチングと三角測量を実現し、特に大規模な屋外シーンでオクルージョン、低テクスチャ、動的物体といった困難な条件下でも、従来の魚眼 SLAM システムよりも高い精度と耐障害性を達成する。

ABSTRACT

We present a real-time feature-based SLAM (Simultaneous Localization and Mapping) system for fisheye cameras featured by a large field-of-view (FoV). Large FoV cameras are beneficial for large-scale outdoor SLAM applications, because they increase visual overlap between consecutive frames and capture more pixels belonging to the static parts of the environment. However, current feature-based SLAM systems such as PTAM and ORB-SLAM limit their camera model to pinhole only. To compensate for the vacancy, we propose a novel SLAM system with the cubemap model that utilizes the full FoV without introducing distortion from the fisheye lens, which greatly benefits the feature matching pipeline. In the initialization and point triangulation stages, we adopt a unified vector-based representation to efficiently handle matches across multiple faces, and based on this representation we propose and analyze a novel inlier checking metric. In the optimization stage, we design and test a novel multi-pinhole reprojection error metric that outperforms other metrics by a large margin. We evaluate our system comprehensively on a public dataset as well as a self-collected dataset that contains real-world challenging sequences. The results suggest that our system is more robust and accurate than other feature-based fisheye SLAM approaches. The CubemapSLAM system has been released into the public domain.

研究の動機と目的

• 魚眼カメラの広い視野角（FoV）を歪みを伴わずに活用できるリアルタイムで高精度な SLAM システムの不足を補うこと。
• ピンホールモデルに限定される従来の特徴ベース SLAM システム（例：ORB-SLAM や PTAM）が、顕著な歪みを持つ魚眼画像では機能しないという制限を克服すること。
• 魚眼カメラの全視野角を最大限に活用しながら、標準的な特徴記述子および Bag-of-Words 語彙と互換性を保ちつつ、耐障害性に優れた効率的な SLAM パイプラインを設計すること。
• キューブマップモデルに特化した幾何的表現と誤差メトリクスを導入することで、魚眼 SLAM の特徴マッチング、三角測量、最適化ステージを向上させること。
• オクルージョン、低テクスチャ、動的物体といった困難な条件下の屋外実環境において、本システムの優位性を検証すること。

提案手法

• 魚眼カメラをキューブマップとしてモデル化し、360°の魚眼画像を立方体の6枚の平面面に投影することで、歪みが最小限のピンホールカメラとして各面を表現する。
• 初期化および三角測量の段階で、複数のキューブマップ面にまたがる特徴対応を効率的に処理するため、統一されたベクトルベースの表現を導入する。
• RANSAC を用いた外れ値除外のため、基本行列とベクトル表現に基づく新規なインライアーチェックメトリクスを提案し、厳密に分析する。
• ボンドル調整用に、新しいマルチピンホール再投影誤差メトリクスを設計・評価し、従来のメトリクスよりも精度と収束性に優れていることを示す。
• ループクロージャーを統合し、トラジェクトリ評価に7自由度（7-DoF）アライメントを用いることで、長時間のシーケンスにおいても耐障害性の高い性能を実現する。
• 実装はリアルタイム動作を最適化しており、GitHub で公開されている。

実験結果

リサーチクエスチョン

• RQ1 キューブマップベースの表現は、歪みを導入せずにリアルタイムで高精度な SLAM を実現する魚眼カメラを効果的にモデル化できるか？
• RQ2 複数のキューブマップ面にまたがる特徴マッチングと三角測量を、幾何的整合性を保ちながら効率的に行うにはどうすればよいか？
• RQ3 ピECWISE-PINHOLE 魚眼 SLAM システムにおけるボンドル調整の最適な再投影誤差メトリクスは何か？ また、既存のメトリクスと比較してどのように異なるか？
• RQ4 実際の屋外環境において、キューブマップモデルを用いた魚眼 SLAM システムの性能は、ピンホールベースおよび補正済み魚眼 SLAM システムと比べてどうか？
• RQ5 限られた角分解能を持つ魚眼センサーであっても、ループクロージャーと最適なカメラ設置位置の組み合わせによって、魚眼 SLAM システムの精度がさらに向上するか？

主な発見

• パーキングロットシーケンスにおいて、CubemapSLAM は ORB-Pin-F や ORB-Rect-F より顕著に高い精度を達成し、ATE RMSE が 4.47m（ループクロージングなしでは 16.47m）にまで低下。ループクロージング後はピンホールベースの ORB-Pin-F をも凌駆する。
• loop1_c_clockwise シーケンスでは、ATE RMSE が 9.84m にまで低下し、ORB-Pin-L（15.60m）および ORB-Rect-L（X）を上回り、低テクスチャ・オクルージョン環境下でも優れた耐障害性を示した。
• タウン_1 シーケンスでは、CubemapSLAM が平均 366.14 個のキーポイントをトラッキングした。これは ORB-Pin-L（379.21）および ORB-Rect-L（375.09）を上回り、トラッキング安定性とマップ密度の優位性を示している。
• ループクロージングを有効にした場合、パーキングロット_1 シーケンスの ATE RMSE は 5.44m から 2.41m まで低下し、長時間シーケンスにおける高い一貫性と収束性を示した。
• 1秒あたり3フレームに1枚の低フレームレート、低テクスチャ環境でも、CubemapSLAM は正常に初期化・トラッキングを実行したが、ORB-Pin-F は初期化に失敗した。これにより、本システムの耐障害性が裏付けられた。
• CubemapSLAM の性能はピンホールカメラを用いた ORB-SLAM と同等であり、一部のシーケンスではループクロージング後にそれを上回ることもあった。これは、魚眼センサーの角分解能が低いにもかかわらず、依然として高い性能を発揮していることを示している。