[論文レビュー] Event-based Video Reconstruction via Potential-assisted Spiking Neural Network

Lin Zhu, Xiao Wang+4 more|arXiv (Cornell University)|Jan 25, 2022

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本稿では、時間情報を効果的に活用するため、Leaky-Integrate-and-Fire (LIF) ニューロンと Adaptive Membrane Potential (AMP) ニューロンを用いた、イベントベース動画再構成のための完全なスパikingニューラルネットワーク（SNN）フレームワークである EVSNN および PA-EVSNN を提案する。これらのモデルは、ANNベースの手法と同等の再構成品質を達成している一方で、それぞれ 19.36× および 7.75× の計算効率の向上を達成しており、E2VID と比較して 24.15× および 8.76× のエネルギー効率の向上を示している。

ABSTRACT

Neuromorphic vision sensor is a new bio-inspired imaging paradigm that reports asynchronous, continuously per-pixel brightness changes called `events' with high temporal resolution and high dynamic range. So far, the event-based image reconstruction methods are based on artificial neural networks (ANN) or hand-crafted spatiotemporal smoothing techniques. In this paper, we first implement the image reconstruction work via fully spiking neural network (SNN) architecture. As the bio-inspired neural networks, SNNs operating with asynchronous binary spikes distributed over time, can potentially lead to greater computational efficiency on event-driven hardware. We propose a novel Event-based Video reconstruction framework based on a fully Spiking Neural Network (EVSNN), which utilizes Leaky-Integrate-and-Fire (LIF) neuron and Membrane Potential (MP) neuron. We find that the spiking neurons have the potential to store useful temporal information (memory) to complete such time-dependent tasks. Furthermore, to better utilize the temporal information, we propose a hybrid potential-assisted framework (PA-EVSNN) using the membrane potential of spiking neuron. The proposed neuron is referred as Adaptive Membrane Potential (AMP) neuron, which adaptively updates the membrane potential according to the input spikes. The experimental results demonstrate that our models achieve comparable performance to ANN-based models on IJRR, MVSEC, and HQF datasets. The energy consumptions of EVSNN and PA-EVSNN are 19.36$ imes$ and 7.75$ imes$ more computationally efficient than their ANN architectures, respectively.

研究の動機と目的

• 従来の人工ニューラルネットワーク（ANN）のエネルギー効率の制限を克服するため、イベントベース動画再構成のための深層スパikingニューラルネットワーク（SNN）フレームワークの開発。
• スパikingニューロンが時間情報を内蔵して保存・利用できることを検証し、時間依存の再構成タスクに応用可能かどうかを調査。
• 入力のスパarsityに応じて動的に調整される適応的膜電位（AMP）ニューロンを用いたハイブリッドなポテンシャル支援フレームワークの設計。
• SNN が ANN や E2VID などの最先端モデルと比較して、顕著に低い計算コストとエネルギー消費で競争力のある再構成性能を達成できることを実証。

提案手法

• 提案された EVSNN フレームワークは、非同期的なイベントデータを処理するため、Leaky-Integrate-and-Fire (LIF) ニューロンと膜電位（MP）ニューロンを用いたスパキングニューラルネットワークアーキテクチャを採用している。
• 入力スパイク活動に基づいて膜時間定数を適応的に更新する、新しい適応的膜電位（AMP）ニューロンが導入され、時間的モデリングの性能が向上している。
• PA-EVSNN フレームワークは、AMP ニューロンをハイブリッドアーキテクチャに統合し、SNN 操作と、MP 層における少数の固定小数点（FP）操作を組み合わせることで性能を向上させている。
• モデルは、スパイク閾値の非微分性に起因する問題を回避するため、サーヴェイグレデントバックプロパゲーションを用いてエンド・ツー・エンドの訓練が可能である。
• エネルギー効率は、ANN の MAC 操作と SNN のスパイクベース操作を比較することで定量的に評価されており、SNN 操作は 0.9pJ、ANN 操作は 4.6pJ の消費電力モデルを用いている。
• 複数時間ステップのシミュレーションを回避することで、不要なスパイク活動を低減し、遅延とエネルギー消費を削減している。

実験結果

リサーチクエスチョン

• RQ1 完全なスパキングニューラルネットワーク（SNN）アーキテクチャは、人工ニューラルネットワーク（ANN）と同等の性能を発揮するイベントベース動画再構成を効果的に行えるか？
• RQ2 スパキングニューロンは、画像再構成のような時間依存回帰タスクにおいて、内在的に時間情報を記憶・利用できるか？
• RQ3 適応的膜電位（AMP）ニューロンを用いたハイブリッドなポテンシャル支援フレームワークは、SNN の時間的受容野と再構成精度を向上させるか？
• RQ4 SNN ベースの再構成モデルは、E2VID などの最先端の ANN ベースのモデルと比較して、どの程度エネルギー消費を削減できるか？

主な発見

• EVSNN モデルは、IJRR、MVSEC、HQF データセットにおいて、最先端の ANN ベースのモデルと同等の再構成性能を達成している。
• PA-EVSNN モデルは、入力スパイク活動に応じて膜電位を適応的に調整することで、時間的モデリングの性能が向上し、再構成品質がさらに向上している。
• EVSNN モデルは、対応する ANN アーキテクチャと比較して 19.36× のエネルギー消費削減を達成している。PA-EVSNN は 7.75× のエネルギー効率向上を示している。
• E2VID と比較して、EVSNN と PA-EVSNN はそれぞれ 24.15× および 8.76× の計算効率の向上を示しており、これはスパイク発火率の低さと最適化された SNN 操作によるものである。
• EVSNN の平均スパイク発火率は 26.4%、PA-EVSNN は 25.1% であり、イベント駆動推論における高いスパarsity と低エネルギー消費を示している。
• バッチ正規化の使用により、アイドル状態でのスパイク率がわずかに上昇する可能性があるものの、スパースなスパイク活動のおかげで、全体のエネルギー消費は低く抑えられている。