[論文レビュー] SeqXFilter: A Memory-efficient Denoising Filter for Dynamic Vision Sensors

Shasha Guo, Lei Wang+4 more|arXiv (Cornell University)|Jun 2, 2020

CCD and CMOS Imaging Sensors参考文献 20被引用数 5

ひとこと要約

SeqXFilter は、固定サイズの過去イベントウィンドウを用いて、O(1) の空間計算量と最小限の計算で、空間的・時間的相関を検出するメモリ効率の良いノイズ除去フィルタである。最適化された関数を用いた空間的距離の分析により、最先端の NNb フィルタと同等のノイズ除去性能を達成すると同時に、メモリ使用量と計算オーバーヘッドを大幅に削減する。

ABSTRACT

Neuromorphic event-based dynamic vision sensors (DVS) have much faster sampling rates and a higher dynamic range than frame-based imaging sensors. However, they are sensitive to background activity (BA) events that are unwanted. There are some filters for tackling this problem based on spatio-temporal correlation. However, they are either memory-intensive or computing-intensive. We propose \emph{SeqXFilter}, a spatio-temporal correlation filter with only a past event window that has an O(1) space complexity and has simple computations. We explore the spatial correlation of an event with its past few events by analyzing the distribution of the events when applying different functions on the spatial distances. We find the best function to check the spatio-temporal correlation for an event for \emph{SeqXFilter}, best separating real events and noise events. We not only give the visual denoising effect of the filter but also use two metrics for quantitatively analyzing the filter's performance. Four neuromorphic event-based datasets, recorded from four DVS with different output sizes, are used for validation of our method. The experimental results show that \emph{SeqXFilter} achieves similar performance as baseline NNb filters, but with extremely small memory cost and simple computation logic.

研究の動機と目的

• 動的ビジョンセンサー（DVS）向けの既存の空間的・時間的ノイズ除去フィルタの高いメモリ使用量と計算コストを低減すること。
• ノイズ除去性能を損なわせることなく、DVS イベントフィルタリングにおけるメモリ使用量を削減すること。
• タイムスタンプではなく、過去のイベント座標のみを保存することで、空間的・時間的相関を活用する代替手法を検討すること。
• 現在のイベントと過去のイベント間の空間的相関を測定する最適な関数を特定し、実イベントとバックグラウンド活動を効果的に分離すること。
• 出力サイズやノイズレベルが異なる多様な DVS データセットにおいて、本手法の妥当性を検証すること。

提案手法

• タイムスタンプやピクセルごとのメモリではなく、最新の X 個のイベントの (x, y) 座標のみを格納する固定サイズの過去イベントウィンドウを維持する。
• 現在のイベントと過去ウィンドウ内のイベントとの間の相対的な空間的距離を用いて、空間的・時間的相関を推定し、イベントの順序を暗黙的な時間情報として扱う。
• 空間的距離に異なる数学的関数を適用して相関強度をモデル化し、実イベントとノイズを区別する最適な関数を同定する。
• スケールに依存しない閾値処理を可能にするために、空間的距離を除算で正規化する。
• 各新しいイベントごとに、最も古いエントリを上書きすることで過去イベントウィンドウを更新し、常に O(1) のメモリ使用量を維持する。
• 空間的近接性への感度を制御するための閾値パrameter σ を用い、データセットやノイズレベルに応じて調整する。

実験結果

リサーチクエスチョン

• RQ1 DVS 用のノイズ除去フィルタは、大幅に少ないメモリ使用量で、ベースラインの NNb フィルタと同等の性能を達成できるか？
• RQ2 実イベントとノイズを区別するために、現在のイベントと過去のイベント間の空間的相関をモデル化する最適な関数は何か？
• RQ3 ノイズ条件が異なる状況下で、過去イベントウィンドウの長さがノイズ除去性能に与える影響は何か？
• RQ4 実世界の DVS データセットにおいて、ノイズ除去精度を損なわせることなく O(1) の空間計算量を達成できるか？
• RQ5 出力解像度やノイズ特性が異なる多様な DVS センサーにおいて、本フィルタの性能はどの程度か？

主な発見

• SeqXFilter は、4つの多様な DVS データセットにおいて、PSNR および SSIM の指標でベースラインの NNb フィルタと同等のノイズ除去性能を達成した。
• 振り子データセットでは、過去イベントウィンドウを X=2 から X=4 に拡大することで、視覚的なノイズ除去品質が向上し、右上領域のノイズピクセルが減少した。
• X=2 かつ σ=0.04 の条件下で、SeqXFilter はベースライン（bs1）に近い PSNR1 値を達成し、性能の類似性が裏付けられた。
• ノイズが少ないデータセットでは σ の選択に柔軟性があり、一方で高ノイズデータセットでは大きな σ 値が性能を損なう傾向にあった。
• 本手法は O(1) の空間計算量を達成し、過去イベントウィンドウに 32·X ビットのみを用いており、DVS 解像度にかかわらず、2〜4つのタイムスタンプを格納するのと同等のメモリ使用量に留まった。
• 計算コストは最小限に抑えられ、1イベントあたり6回の加算、2回の除算、2回の比較、2回の書き込みが行われ、カウンタの更新も効率的であった。