[論文レビュー] Speed Invariant Time Surface for Learning to Detect Corner Points with Event-Based Cameras

Jacques Manderscheid, Amos Sironi+3 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Memory and Neural Computing参考文献 63被引用数 2

ひとこと要約

本稿では、速度に依存しない時間表面表現を用いてランダムフォレスト分類器を学習する、イベントベースカメラにおける頑健なコーナー検出のための学習ベース手法SILC（Speed Invariant Learned Corners）を提案する。本手法は、単一CPU上で最大160万イベント/秒のリアルタイム性能を達成し、従来手法と比較して急激な運動変化下でも著しく安定性が向上しており、新しい高解像度データセットを用いた評価では再投影誤差が低く、トラックの寿命が長くなる。

ABSTRACT

We propose a learning approach to corner detection for event-based cameras that is stable even under fast and abrupt motions. Event-based cameras offer high temporal resolution, power efficiency, and high dynamic range. However, the properties of event-based data are very different compared to standard intensity images, and simple extensions of corner detection methods designed for these images do not perform well on event-based data. We first introduce an efficient way to compute a time surface that is invariant to the speed of the objects. We then show that we can train a Random Forest to recognize events generated by a moving corner from our time surface. Random Forests are also extremely efficient, and therefore a good choice to deal with the high capture frequency of event-based cameras—our implementation processes up to 1.6Mev/s on a single CPU. Thanks to our time surface formulation and this learning approach, our method is significantly more robust to abrupt changes of direction of the corners compared to previous ones. Our method also naturally assigns a confidence score for the corners, which can be useful for postprocessing. Moreover, we introduce a highresolution dataset suitable for quantitative evaluation and comparison of corner detection methods for event-based cameras. We call our approach SILC, for Speed Invariant Learned Corners, and compare it to the state-of-the-art with extensive experiments, showing better performance.

研究の動機と目的

• 高速または急激な運動変化下での既存のイベントベースコーナー検出器の不安定性を解消すること。
• 物体の速度に依存しない時間表面表現を構築し、より頑健な特徴検出を可能にすること。
• GPUを必要とせず、軽量でリアルタイムな分類器（ランダムフォレスト）を訓練して、イベントベースのコーナー検出を実現すること。
• 定量的評価のための高解像度・バイアスのないベンチマークデータセットを提供すること。
• 学習されたコーナーを用いた単純なトラッキングが、動的で高ダイナミックレンジなシーンにおいて、複雑なトラッカーを上回ることを示すこと。

提案手法

• 局所的な物体速度に依存しない方法でイベントデータを蓄積する、新規の速度不変時間表面（SITS）の定式化を提案する。
• SITSを入力として、移動するコーナーから生成されたイベントと背景またはエッジイベントを区別するように学習されたランダムフォレスト分類器を用いる。
• CPU専用の推論に最適化されたスパarsな非同期イベント処理パイプラインを採用し、最大160万イベント/秒の処理を達成する。
• 最近傍探索に基づくトラッキング方式を用いて、時間経過に伴うコーナーの安定性と連続性を評価する。
• フレームベースのキーポイント抽出ではなく、イベントストリームの整合性から導出された真値を備えた、新規の高解像度ベンチマークデータセット（HVGAコーナー・データセット）を公開する。
• 学習ベースのアプローチを用いてSITS特徴量上でランダムフォレストを訓練し、運動パターンやノイズの変動に一般化可能な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチは、イベントベースカメラにおける高速・急激な運動変化下でのコーナー検出の頑健性を向上させ得るか？
• RQ2 物体の速度に依存しない時間表面表現を、リアルタイム処理に適した計算効率を保ちつつ実現できるか？
• RQ3 GPU非搭載環境でも最先端の性能を達成できるような、軽量な分類器（例：ランダムフォレスト）は、イベントベースのコーナー検出に適しているか？
• RQ4 学習されたコーナーと組み合わせた単純なトラッキング方式の性能は、従来の検出器と比較してどの程度優れているか？
• RQ5 1台のイベントカメラで学習した検出器が、異なるセンサ特性を持つ別のカメラにどの程度一般化できるか？

主な発見

• HVGAコーナー・データセットにおいて、25msの時間窓を用いた場合、SILCの再投影誤差は2.45ピクセルであり、ベースラインのタイムサーフェス手法（5.79ピクセル）を著しく下回る。
• SILCを用いた特徴点の平均寿命は、evFast や evHarris や Arc よりも長く、より安定的で持続的なコーナー検出が可能であることを示している。
• イベントカメラデータセットでは、DAVISデータ上で微調整したSILCの再投影誤差は2.16ピクセルであり、evHarris（2.46）、evFast（2.50）、Arc（2.58）を上回る性能を示した。
• イベントカメラデータセットでは、SILCの有効トラック率が65.3%に達し、evFast（50.1%）や evHarris（47.4%）を上回った。
• 本手法は単一CPU上で最大160万イベント/秒を処理でき、低消費電力の組み込みアプリケーションに適したリアルタイム性能を実現した。
• センサ間での一般化性能も良好で、ATISで学習したモデルはDAVISでも同等の性能を示し、DAVIS専用のモデルを訓練することでさらに性能が向上した。