[論文レビュー] Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras

R. Wes Baldwin, Mohammed Almatrafi+2 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Memory and Neural Computing参考文献 47被引用数 4

ひとこと要約

本稿では、実世界のニューロモルフィックカメラのイベントに対して、APS強度勾配とIMU運動データを用いて各画素におけるイベント発生の確率を推定する空間的・時間的ラベル、イベント確率マスク（EPM）を導入する。また、新しいベンチマーク指標（RPMD）を最小化するように訓練されたCNNベースのノイズ除去モデルEDnCNNを提案し、ノイズが強いデータに対して平均148ポイントのRPMD向上を達成し、16のシーンのうち12で統計的に有意な性能向上（p = 0.00248）を示した。

ABSTRACT

This paper presents a novel method for labeling real-world neuromorphic camera sensor data by calculating the likelihood of generating an event at each pixel within a short time window, which we refer to as "event probability mask" or EPM. Its applications include (i) objective benchmarking of event denoising performance, (ii) training convolutional neural networks for noise removal called "event denoising convolutional neural network" (EDnCNN), and (iii) estimating internal neuromorphic camera parameters. We provide the first dataset (DVSNOISE20) of real-world labeled neuromorphic camera events for noise removal.

研究の動機と目的

• 実世界のニューロモルフィックカメラデータにおけるイベントノイズ除去のための信頼できるベンチマークが不足していること（ノイズ分布が不明であるため）を解決すること。
• 大規模で実世界のラベル付きデータセット（DVSNOISE20）とイベント確率マスク（EPM）を用いて、機械学習ベースのノイズ除去を可能にすること。
• EPMをノイズのないイベントの代理として用いることで、深層学習を用いたDVSイベントのノイズ除去のための堅牢でデータ駆動型の手法を開発すること。
• EPM予測に基づいて最尤推定法を用いて、内部のニューロモルフィックカメラパラメータ（例：しきい値）をキャリブレーションすること。
• ノイズ除去性能を定量的に評価するための新しい客観的ベンチマーク指標、相対的妥当性測度（RPMD）を確立すること。

提案手法

• EPMは、短い時間ウィンドウ内でAPSフレームからの空間的強度勾配とIMUからの運動データを組み合わせることで、各画素におけるイベント生成の対数尤度を推定する。
• EPMは、実世界のイベントに対して真のラベルが存在しないにもかかわらず、ノイズのないDVSイベントの代理として機能し、教師あり学習によるノイズ除去モデルの訓練を可能にする。
• EDnCNNは、入力イベントとEPMラベルを比較することで、イベントをノイズまたは信号に分類する2ストリームの畳み込みニューラルネットワークである。
• モデルは、EPMに対するノイズ除去結果の妥当性を定量化するRPMD指標を最小化するように訓練される。
• EPMモデルを観測されたイベントデータに適合させることで、最尤推定法を用いて内部DVSしきい値パラメータをキャリブレーションする。
• DVSNOISE20データセットは、同期されたAPS、DVS、IMUセンサを備えたDAVISカメラを用いて収集され、16の実世界シーンにEPMラベルが付与されている。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが不明な実世界のニューロモルフィックカメラデータにおいて、イベントノイズ除去性能をどのように客観的にベンチマーク化できるか？
• RQ2 観測可能なセンサデータに基づいて、イベント発生の確率を予測する信頼性のあるデータ駆動型ラベル（EPM）を構築できるか？
• RQ3 EPMラベルに基づいて訓練された深層学習モデル（EDnCNN）は、従来の手作業で設計されたあるいはヒューリスティックな手法と比較して、どの程度ノイズ除去性能を向上させられるか？
• RQ4 本手法は、さまざまな実世界の条件下におけるシーンコンテンツ、動き、ノイズレベルの変動に対してどの程度頑健であるか？
• RQ5 EPMフレームワークを用いて、自然なシーンデータから内部ニューロモルフィックカメラパラメータを正確に推定できるか？

主な発見

• EDnCNNは、ノイズの強い元データに対して平均148ポイントのRPMD向上を達成し、顕著なノイズ除去性能の向上を示した。
• EDnCNNは、FSAE、IE+TE、BAF、NN、NN2の全ベースライン手法と比較して、16のシーンのうち12で優れた性能を示し、Wilcoxon符号順位検定による統計的有意性（p = 0.00248）を確認した。
• シミュレートされたデータにおけるノイズレベルの変動に対しても、本手法は頑健であり、背景活動ノイズが増加しても高い性能を維持した。
• EDnCNNは、IE+TE や BAF などの手法と比較して、縁の構造をよりよく保持し、孤立したノイズイベントをより効果的に除去する、質的に優れた結果を生成した。
• EPMに基づくキャリブレーション手法は、内部DVSしきい値を正確に推定でき、モデルが物理的センサ動作と整合していることを裏付けた。
• EPMラベルとRPMDベンチマークを備えたDVSNOISE20データセットは、今後のニューロモルフィックノイズ除去アルゴリズムの評価と比較のための新しい基準を提供する。