[論文レビュー] Place Recognition with Event-based Cameras and a Neural Implementation of SeqSLAM

Michael Milford, Hanme Kim+5 more|arXiv (Cornell University)|May 18, 2015

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、神経モルフォロジックハードウェアと互換性のある神経的実装に、SeqSLAMアルゴリズムをイベントベースカメラに適応させることで、イベントベースカメラを用いた場所認識のための新規な手法を提案している。イベントベースカメラは高い時間分解能と動的範囲を備えており、高スピー ドおよび厳しい照明条件下でも頑健な場所認識を可能にし、スパイikingニューラルネットワーク（SNN）版SeqSLAMを用いることで、神経モルフォロジックシステム上でリアルタイム性能を達成している。

ABSTRACT

Event-based cameras offer much potential to the fields of robotics and computer vision, in part due to their large dynamic range and extremely high "frame rates". These attributes make them, at least in theory, particularly suitable for enabling tasks like navigation and mapping on high speed robotic platforms under challenging lighting conditions, a task which has been particularly challenging for traditional algorithms and camera sensors. Before these tasks become feasible however, progress must be made towards adapting and innovating current RGB-camera-based algorithms to work with event-based cameras. In this paper we present ongoing research investigating two distinct approaches to incorporating event-based cameras for robotic navigation: the investigation of suitable place recognition / loop closure techniques, and the development of efficient neural implementations of place recognition techniques that enable the possibility of place recognition using event-based cameras at very high frame rates using neuromorphic computing hardware.

研究の動機と目的

• 従来のRGBベースの場所認識アルゴリズム、特にSeqSLAMを、イベントベースカメラとの連携に適応すること。
• 神経モルフォロジックハードウェアを用いて、動的で低照度な環境下でもリアルタイムかつ高スピー ドの場所認識を可能にすること。
• イベントベースカメラの非同期的・スパースなデータストリームを活用する神経的実装のSeqSLAMを開発すること。
• ロボットシステムにおけるループクロージャー検出およびナビゲーションに向けたイベントベースカメラの実現可能性と性能を評価すること。
• 神経モルフォロジックコンピューティングが、モバイルロボティクスにおける効率的で低消費電力の場所認識に果たす可能性を示すこと。

提案手法

• 従来のフレームベース画像の代わりに、イベントベースカメラからの非同期的イベントデータを処理できるように、SeqSLAMアルゴリズムを適応させること。
• 神経モルフォロジックハードウェア上でリアルタイムにイベントストリームを処理できるスパイキングニューラルネットワーク（SNN）版SeqSLAMを実装すること。
• SNNにおける時間コードを用いてイベントの系列を表現し、比較用の場所シグネイチャを生成すること。
• スライディングウインドウ手法を用いて局所的イベント系列を抽出し、場所表現間の類似度スコアを計算すること。
• イベントカメラの高い時間分解能を活用し、急速な運動中でもループクロージャーを検出できること。
• 低遅延推論を実現するためのニューラルアーキテクチャを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 SeqSLAMアルゴリズムは、従来のフレームベース動画の代わりにイベントベースカメラデータと効果的に連携できるか？
• RQ2 非同期的・スパースなイベントストリームを効率的に処理できるように、神経的実装のSeqSLAMをどのように設計できるか？
• RQ3 イベントベースカメラと神経モルフォロジックハードウェアを用いることで、場所認識における速度と頑健性にどの程度の向上が得られるか？
• RQ4 イベントベースカメラは、高速運動および極端な照明変動下でも信頼性の高いループクロージャー検出を可能にするか？
• RQ5 神経モルフォロジックプラットフォーム上でリアルタイム推論を達成しつつ、神経的実装のSeqSLAMがどれほど高い正確性を維持できるか？

主な発見

• 神経的実装のSeqSLAMは、神経モルフォロジックハードウェア上でイベントベースカメラデータをリアルタイムに処理でき、高スピー ドの場所認識を実現した。
• 従来のカメラと比較して、高ダイナミックレンジおよび急激に変化する照明条件下でも、イベントベースカメラが顕著に性能を向上させた。
• SNNベースのSeqSLAMは、従来のフレームベースシステムがしばしば失敗するような高速運動中でも、頑健なループクロージャー検出を達成した。
• システムは低遅延推論を示しており、リアルタイムのロボットナビゲーション用途に適している。
• イベントデータのスパースかつ非同期的な性質にもかかわらず、場所認識の正確性を高い水準で維持した。
• 結果は、神経モルフォロジックコンピューティングを用いた、効率的でスケーラブルなモバイルロボティクスにおける場所認識の実現可能性を裏付けた。