[論文レビュー] Event-based Simultaneous Localization and Mapping: A Comprehensive Survey

Kunping Huang, Sen Zhang+2 more|arXiv (Cornell University)|Apr 19, 2023

Advanced Memory and Neural Computing被引用数 18

ひとこと要約

このサーベイは、非同步イベントストリームを活用するイベントベースの vSLAM システムをレビューし、手法を特徴量ベース、直接、動作補償、ディープラーニングのアプローチに分類し、表現、性能、課題、今後の方向性について論じる。

ABSTRACT

In recent decades, visual simultaneous localization and mapping (vSLAM) has gained significant interest in both academia and industry. It estimates camera motion and reconstructs the environment concurrently using visual sensors on a moving robot. However, conventional cameras are limited by hardware, including motion blur and low dynamic range, which can negatively impact performance in challenging scenarios like high-speed motion and high dynamic range illumination. Recent studies have demonstrated that event cameras, a new type of bio-inspired visual sensor, offer advantages such as high temporal resolution, dynamic range, low power consumption, and low latency. This paper presents a timely and comprehensive review of event-based vSLAM algorithms that exploit the benefits of asynchronous and irregular event streams for localization and mapping tasks. The review covers the working principle of event cameras and various event representations for preprocessing event data. It also categorizes event-based vSLAM methods into four main categories: feature-based, direct, motion-compensation, and deep learning methods, with detailed discussions and practical guidance for each approach. Furthermore, the paper evaluates the state-of-the-art methods on various benchmarks, highlighting current challenges and future opportunities in this emerging research area. A public repository will be maintained to keep track of the rapid developments in this field at {\url{https://github.com/kun150kun/ESLAM-survey}}.

研究の動機と目的

• vSLAM におけるイベントカメラの高速度および HDR シナリオでの作動原理と利点を説明する。
• 手法とデータ表現によって主要なイベントベースの vSLAM アプローチを分類・分析する。
• ベンチマークでの性能を要約し、オープンな課題と今後の研究機会を特定する。
• イベントベース SLAM の開発を追跡するためのガイダンスと公開リポジトリを提供する。

提案手法

• イベントカメラの作動原理とコントラスト閾値設定とノイズ考慮を含むイベント生成モデルを説明する。
• 一般的なイベント表現（個々のイベント、イベントパケット、イベントフレーム、タイムサーフェス、動作補償フレーム、ボクセルグリッド、再構成画像）をレビューする。
• システマティックに4カテゴリのイベントベース vSLAM 手法（特徴量ベース、直接、動作補償、ディープラーニング）をレビューし、データ関連付けと最適化戦略を詳述する。
• イベントデータの特徴抽出、追跡、およびカメラ追跡/マッピングパイプラインを含む、点ベースおよび線ベースの特徴、そして学習ベースのアプローチを含む。
• データセットとベンチマークの最新性能を要約し、課題と将来の方向性を論じる。

実験結果

リサーチクエスチョン

• RQ1 vSLAM において使用されるイベントデータの主要な表現は何か、そしてそれらは性能にどのように影響するか？
• RQ2 特徴量ベース、直接、動作補償、ディープラーニング手法は、イベントストリームからデータ関連付けを確立し、カメラ姿勢と地図を推定する方法は？
• RQ3 イベントベース vSLAM の現在の課題は何か、そして今後有望な方向性はどこか？
• RQ4 イベントベースの手法はベンチマークシナリオでフレームベース SLAM とどのように比較されるか？
• RQ5 最先端のイベントベース vSLAM 手法を評価するために使用されるデータセットとベンチマークは何か？

主な発見

• イベントカメラは高い時間分解能、広いダイナミックレンジ、低遅延、低い電力消費を提供し、困難な照明条件や動き条件での vSLAM を可能にする。
• イベントベースの vSLAM 手法は主に4つのタイプに分類される：特徴量ベース、直接、動作補償、およびディープラーニングアプローチ。
• 遅延と計算のバランスをとるため、個々のイベント、イベントパケット、イベントフレーム、タイムサーフェス、ボクセルグリッドなど、さまざまなイベント表現が用いられる。
• 特徴ベースの手法は特徴量（点や線）を抽出・追跡してカメラの姿勢と3Dランドマークを推定することが多く、学習ベースの検出子や記述子を使用することもある。
• 直接法はフォトメトリック表現またはエッジベースの表現を用いてイベントデータを整列させ、動作補償法は動作モデルとIMUデータが利用可能な場合はイベントを参照フレームへワープさせる。
• ディープラーニングアプローチは CNNs や SNNs を使って動き、深度、または表現を予測し、しばしば合成データで訓練し実データで微調整される。