[論文レビュー] FA-Harris: A Fast and Asynchronous Corner Detector for Event Cameras

Ruoxiang Li, Dianxi Shi+3 more|arXiv (Cornell University)|Jun 26, 2019

Advanced Memory and Neural Computing参考文献 26被引用数 4

ひとこと要約

本稿では、イベントカメラの生の非同期イベントに直接処理を行う高速かつ非同期的なコーナー検出器であるFA-Harrisを提案する。イベントフレームの合成を必要とせず、グローバルアクティブイベント表面（G-SAE）の維持ユニットとコーナー候補選択機構を用いることで、リアルタイム性能を実現する。同時に、洗練されたハリスベースの手法により高い精度を達成し、公開データセット上での精度を損なわずに、先行研究のイベントベースハリス検出器と比較して約8倍の高速化を実現した。

ABSTRACT

Recently, the emerging bio-inspired event cameras have demonstrated potentials for a wide range of robotic applications in dynamic environments. In this paper, we propose a novel fast and asynchronous event-based corner detection method which is called FA-Harris. FA-Harris consists of several components, including an event filter, a Global Surface of Active Events (G-SAE) maintaining unit, a corner candidate selecting unit, and a corner candidate refining unit. The proposed G-SAE maintenance algorithm and corner candidate selection algorithm greatly enhance the real-time performance for corner detection, while the corner candidate refinement algorithm maintains the accuracy of performance by using an improved event-based Harris detector. Additionally, FA-Harris does not require artificially synthesized event-frames and can operate on asynchronous events directly. We implement the proposed method in C++ and evaluate it on public Event Camera Datasets. The results show that our method achieves approximately 8x speed-up when compared with previously reported event-based Harris detector, and with no compromise on the accuracy of performance.

研究の動機と目的

• イベントカメラ向けに、フレーム合成を必要とせず、非同期イベントストリームに直接処理可能な効率的で真に非同期的なコーナー検出手法の不足を補うこと。
• 人工的に合成されたイベントフレームに依存するフレームベース手法の限界を克服し、非同期性を損なわず、遅延を低減すること。
• 高レートでのイベント処理を維持しつつ、高い精度を保ちながらリアルタイムのコーナー検出パイプラインを設計すること。
• イベントカメラを用いたSLAMやビジュアルオドメトリのための強力な特徴抽出を、高速かつ高ダイナミックレンジ環境で実現すること。

提案手法

• ノイズ除去とデータ量の削減を目的として、非同期イベントをイベントフィルタで処理する。
• スパティオテンポラルなイベント活動を表すために、グローバルアクティブイベント表面（G-SAE）をリアルタイムで維持し、効率的な計算を可能にする。
• 局所的なG-SAEの曲率と勾配変化に基づいて、潜在的なコーナーを特定するコーナー候補選択ユニットを採用し、高応答領域を優先する。
• コーナー候補の精錬ユニットは、G-SAE上の局所的な強度変動を用いて、改良されたイベントベースハリス検出器を適用し、各候補のスコア付けと検証を行う。
• パイプライン全体はC++で実装されており、強度フレームやフレーム合成を一切必要とせず、イベントストリームに直接処理を実行する。
• 低遅延処理を最適化し、1イベントあたりの処理時間と最大イベントレート（Meps）を用いて計算性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 フレーム合成を一切行わず、非同期イベントストリームにネイティブに処理可能なコーナー検出手法を設計できるか？
• RQ2 精度を保持しつつ、イベントベースコーナー検出におけるリアルタイム性能をどのように達成できるか？
• RQ3 G-SAEベースの処理が、イベントカメラのコーナー検出における速度と精度に与える影響は何か？
• RQ4 本手法は、既存のイベントベースコーナー検出器と比較して、速度、精度、誤検出率の観点でどのように異なるか？

主な発見

• FA-Harrisは、以前に報告されたeHarris*検出器と比較して、約8倍の高速化を達成した。1イベントあたりの処理時間は0.66 μs、最大イベントレートは1.54 Mepsであった。
• 高い精度を維持しており、全シーンにおける加重平均精度は50.88%を達成。eHarris*（50.56%）およびG-eHarris*（50.57%）を上回った。
• 他の手法と比較して、誤検出率（FPR）が低く抑えられ、全体データセットでのFPRは2.58であり、コーナー検出の精度が優れていることを示している。
• 動的で高運動のシーンでも安定性を示し、'dynamic'シーンでは3.28%、'boxes'シーンでは1.61%のFPRを記録した。
• Arc*手法に比べ5倍遅いものの、はるかに高い精度と低いFPRを達成しており、速度と精度の間で良好なトレードオフを実現している。
• 評価により、FA-Harrisがフレーム合成を一切行わず、非同期イベントに直接処理を実行していることが確認され、イベントカメラの本質的な非同期性が保たれている。