[論文レビュー] Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks

Jesse J. Hagenaars, Federico Paredes-Vallés+1 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Memory and Neural Computing被引用数 62

ひとこと要約

本論文は、密なイベントベースの光流推定のための深層スパイキングニューロンネットワーク（SNN）の自己教師付き学習フレームワークを提案し、代理勾配と適応的スパイキング機構を探究しつつ、最先端のANN手法と同等の性能を達成する。

ABSTRACT

The field of neuromorphic computing promises extremely low-power and low-latency sensing and processing. Challenges in transferring learning algorithms from traditional artificial neural networks (ANNs) to spiking neural networks (SNNs) have so far prevented their application to large-scale, complex regression tasks. Furthermore, realizing a truly asynchronous and fully neuromorphic pipeline that maximally attains the abovementioned benefits involves rethinking the way in which this pipeline takes in and accumulates information. In the case of perception, spikes would be passed as-is and one-by-one between an event camera and an SNN, meaning all temporal integration of information must happen inside the network. In this article, we tackle these two problems. We focus on the complex task of learning to estimate optical flow from event-based camera inputs in a self-supervised manner, and modify the state-of-the-art ANN training pipeline to encode minimal temporal information in its inputs. Moreover, we reformulate the self-supervised loss function for event-based optical flow to improve its convexity. We perform experiments with various types of recurrent ANNs and SNNs using the proposed pipeline. Concerning SNNs, we investigate the effects of elements such as parameter initialization and optimization, surrogate gradient shape, and adaptive neuronal mechanisms. We find that initialization and surrogate gradient width play a crucial part in enabling learning with sparse inputs, while the inclusion of adaptivity and learnable neuronal parameters can improve performance. We show that the performance of the proposed ANNs and SNNs are on par with that of the current state-of-the-art ANNs trained in a self-supervised manner.

研究の動機と目的

• イベントベースの光流推定のための深層SNNを用いた自己教師付き学習（SSL）フレームワークを実証する。
• 入力表現を再形成して入力の時間情報を最小化し、完全な非同期のニューロモルフィック処理に整合させる。
• ニューロンモデル、初期化、代理勾配、および適応機構が疎なイベントデータでの学習にどう影響するかを調査する。
• 標準的なイベントベースの光流ベンチマークにおいて深層SNNが最先端のSSL性能に到達できるかを評価する。

提案手法

• 小さな重なりのないパーティション内でピクセルごと・極性ごとのイベント数を表現し、入力の時間情報を最小化する。
• 運動補償のための再形成されたコントラスト最大化SSL損失を用いて凸性を改善し、イベントの前方/後方ワープをサポートする。
• スパースなイベントのバックプロパゲーションを可能にし、光流推定の時間平滑化を行う入力トレーニングパーティションバッファを定義する。
• 様々な適応機構を備えた複数のスパイキングニューロンモデル（LIF、ALIF、PLIF、XLIF）を代理勾配（aTan prime）とエネルギー意識の考慮とともに比較する。
• 学習済みのTanHデコーダを用いて密な光流マップを出力するConvGRUベースのリカレントアーキテクチャ（EV-FlowNetおよびFireNet系列）をSNN向けに適用する。
• MVSECその他のイベントデータセットで訓練・評価を行い、初期化、代理勾配の幅、適応スキームのアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 ディープSNNをSSLで訓練して、入力時刻情報を明示的に持たずにイベントストリームからピクセルごとの光流を推定できるか。
• RQ2 スパイキングニューロンの適応（ALIF、PLIF、XLIF）と代理勾配の選択が、疎なイベントデータでの学習と密な回帰の精度にどう影響するか。
• RQ3 SSL損失を再形成して凸性を改善し、訓練時の時系列バッファを用いることで、深層SNNが光流の効果的な学習を実現できるか。
• RQ4 リカレントSNNアーキテクチャは、標準データセット上の自己教師付きイベントベースの光流タスクで、リカレントなANNと比較してどうか。

主な発見

• 提案されたSSLパイプラインは、深層SNNが自己教師付きイベントベースの光流タスクで最先端のANN SSL手法と競合する精度を達成できる。
• 初期化と代理勾配の幅は、疎な入力での学習に重大な影響を与え、不適切な設定は学習や収束を妨げる可能性がある。
• プリシナプス適応機構（PLIF/XLIF）は、速い変化を伴うイベントデータに対して一般的に後シナプス適応（ALIF）より良いまたは同等の性能を示し、XLIFは勾配フローを堅牢にする。
• ConvGRUとスパイキング層を備えたSNNは、再帰なしのANNに近い性能を示し、このタスクの完全なニューロモルフィック・非同期パイプラインの有望性を示唆する。
• SNNに明示的な再帰を持たせることは、イベントストリームからの光流のような密な回帰タスクでANNベースラインとの差を縮めるために不可欠である。
• 本研究は、自己教師付き設定で現実世界の大規模なイベントベース光流問題を解く深層SNN群の最初の訓練が可能であることを示す。