[論文レビュー] A Noise Filter for Dynamic Vision Sensors using Self-adjusting Threshold

Shasha Guo, Ziyang Kang+5 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Memory and Neural Computing参考文献 18被引用数 5

ひとこと要約

本稿では、動的ビジョンセンサー（DVS）向けに、背景活動（BA）イベントと実際のイベントを区別するための低複雑性ノイズフィルタGFを提案する。この手法は、グローバルな空間的・時間的情報を活用することで、誤検出を低減し、計算負荷も軽減する。従来手法（最近傍法やガウスベース手法など）と比較して、フレームの明瞭度が向上し、処理が高速である。

ABSTRACT

Neuromorphic event-based dynamic vision sensors (DVS) have much faster sampling rates and a higher dynamic range than frame-based imagers. However, they are sensitive to background activity (BA) events which are unwanted. we propose a new criterion with little computation overhead for defining real events and BA events by utilizing the global space and time information rather than the local information by Gaussian convolution, which can be also used as a filter. We denote the filter as GF. We demonstrate GF on three datasets, each recorded by a different DVS with different output size. The experimental results show that our filter produces the clearest frames compared with baseline filters and run fast.

研究の動機と目的

• 動的ビジョンセンサー（DVS）における背景活動（BA）イベントの影響を軽減し、データ品質の低下と無駄なリソース消費を是正すること。
• 従来のガウス畳み込みベースのアプローチと比較して、計算負荷を低減するノイズフィルタリング手法を開発すること。
• 局所的近隣情報ではなく、グローバルな空間的・時間的情報を活用することで、実際のイベントとBAイベントの分類をより正確に行うこと。
• 処理速度を維持しつつ、イベントベースデータのフレーム明瞭度を向上させるフィルタを設計すること。
• 解像度や出力特性が異なる複数のDVSシステムにおいて、フィルタの有効性を検証すること。

提案手法

• 局所的ガウス畳み込みを回避するため、グローバルな空間的・時間的情報統計を用いてイベントを実際のイベントかBAイベントか分類する新しいフィルタリング基準GFを提案する。
• フレーム全体の累積的イベント統計に基づく自己調整型しきい値機構を導入し、イベントの有効性を動的に決定する。
• 各イベントに対して、空間的・時間的イベント密度のグローバルカウンターを更新することで、最小限の計算量でリアルタイムフィルタリングを実現する。
• 2種類のバージョンを設計：DVS128などの極性を有する標準DVS向けのGF1、および極性なしセンサー（例：CeleX-IV）向けのGF2。出力フォーマットに応じて適応可能である。
• イベントデータ（極性、x、y、タイムスタンプ）をアドレスイベント表現（AER）で符号化し、効率的なストリーム処理を可能にする。
• 各イベントに対して1回の書き込みと計算処理のみを実行することで、近隣ベースの手法と比較してメモリアクセスと処理遅延を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 グローバルな空間的・時間的情報基準は、局所的近隣情報に基づくフィルタリング手法よりも、DVSにおける実際のイベントと背景活動（BA）イベントの区別を優れているか？
• RQ2 自己調整型しきい値機構は、高いフィルタリング精度を維持しつつ、計算負荷を低減できるか？
• RQ3 GFフィルタは、従来手法（例：最近傍法、ガウスベース手法）と比較して、フレーム明瞭度と処理速度の面で優れているか？
• RQ4 本手法は、解像度や出力フォーマットが異なる複数のDVSシステムに一般化可能か？
• RQ5 特にスローモーションや複雑なシーンにおいて、動きの詳細を保持しつつBAイベントを効果的に除去できるか？

主な発見

• GFは、DVS128、DAVIS、CeleX-IVの3つのデータセットすべてにおいて、従来手法と比較して最も明瞭なノイズ除去フレームを生成した。
• GF1とGF2は、すべての従来手法よりも著しく短い実行時間で処理を完了した：GF1はBs1の2.5倍速く、GF2はBs2と同等の速度で、より優れた性能を示した。
• すべてのフィルタのFPR（誤検出率）は低く、特にBs2は非常に低い水準に保たれており、提案されたBAイベント定義の整合性と信頼性を示している。
• Bs1は0.5msのしきい値を使用した場合、TPR（真正陽性率）がわずか~0.5%にとどまるが、しきい値を1msに引き上げるとTPRが著しく向上する。これは、しきい値チューニングの重要性を裏付けている。
• GF2は低メモリコストと高い効率性を維持しており、特にCeleX-IVのような行ベースのイベント出力システムでは、Bs3よりもフィルタリング効果が優れている。
• Timeフィルタ変種は、スローモーションシーンにおいてBs2を上回り、特にサブサンプリング窓サイズs=4のとき、時間的ジターリスクに強く、より高いロバスト性を示した。