[論文レビュー] Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation

Shubham Negi, Deepika Sharma+2 more|arXiv (Cornell University)|Jun 5, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、イベントベースカメラデータからの効率的な時系列特徴抽出にスパイクニューラルネットワーク（SNN）層を活用し、標準的なハードウェア上で容易にトレーニングおよびデプロイ可能なアナログニューラルネットワーク（ANN）層を後続に配置するハイブリッドSNN-ANNアーキテクチャを提案する。この手法は、DSECおよびMVSECデータセットにおいて、SNNオンリーモデルと比較して平均エンドポイント誤差が24.8–31%低く、推論エネルギーが2.1–3.1倍低いという最先端の性能を達成した。

ABSTRACT

In the field of robotics, event-based cameras are emerging as a promising low-power alternative to traditional frame-based cameras for capturing high-speed motion and high dynamic range scenes. This is due to their sparse and asynchronous event outputs. Spiking Neural Networks (SNNs) with their asynchronous event-driven compute, show great potential for extracting the spatio-temporal features from these event streams. In contrast, the standard Analog Neural Networks (ANNs) fail to process event data effectively. However, training SNNs is difficult due to additional trainable parameters (thresholds and leaks), vanishing spikes at deeper layers, and a non-differentiable binary activation function. Furthermore, an additional data structure, membrane potential, responsible for keeping track of temporal information, must be fetched and updated at every timestep in SNNs. To overcome these challenges, we propose a novel SNN-ANN hybrid architecture that combines the strengths of both. Specifically, we leverage the asynchronous compute capabilities of SNN layers to effectively extract the input temporal information. Concurrently, the ANN layers facilitate training and efficient hardware deployment on traditional machine learning hardware such as GPUs. We provide extensive experimental analysis for assigning each layer to be spiking or analog, leading to a network configuration optimized for performance and ease of training. We evaluate our hybrid architecture for optical flow estimation on DSEC-flow and Multi-Vehicle Stereo Event-Camera (MVSEC) datasets. On the DSEC-flow dataset, the hybrid SNN-ANN architecture achieves a 40% reduction in average endpoint error (AEE) with 22% lower energy consumption compared to Full-SNN, and 48% lower AEE compared to Full-ANN, while maintaining comparable energy usage.

研究の動機と目的

• 非微分可能な活性化関数、消失スパイク、しきい値や漏れパラメータなどの追加パラメータによる、深層SNNのトレーニングの難しさに対処する。
• 膜電位の追跡に起因するデータ移動の多さにより、標準ハードウェア（例：GPU、Eyeriss）上でSNNをデプロイする際の非効率性を克服する。
• SNNの時系列モデリングの強みとANNのトレーニング効率性を活用し、精度とデプロイ性に最適化されたハイブリッドアーキテクチャを構築する。
• SNN層とANN層の配置と数を最適化することで、性能、トレーニングの複雑さ、推論エネルギーのバランスを取る。
• 非ニューロモーフィックハードウェア上でも、精度を損なわずにイベントベースオプティカルフローモデルを効率的にデプロイ可能にする。

提案手法

• 初期のSNN層を用いて、漏れ積算・放電（LIF）ニューロンの内在的な再帰性と膜電位を活用し、スパarsな非同期イベントストリームの時系列符号化を実現する。
• SNN層の後続に、バックプロパゲーションが可能な微分可能な活性化関数と標準的なGPU上のトレーニングを可能にする、全結合または畳み込み型のANN層を複数配置する。
• SNN層において、サロゲート勾配法と学習可能なしきい値・漏れパrameterを適用することで、トレーニングの安定性を保ちつつ時系列ダイナミクスを維持する。
• 訓練の複雑さと推論エネルギーを最小化するため、最適なSNN層の数と配置を特定するためのアブレーションスタディを実施する。
• 最終的なハイブリッドアーキテクチャを一般用途のMLアクセラレータ（例：Eyeriss）にデプロイし、エネルギー効率と推論パフォーマンスを評価する。
• 平均エンドポイント誤差（AEE）とエネルギー消費量の指標を用いて、精度を評価するための標準的なオプティカルフローベンチマーク（DSEC-flowおよびMVSEC）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドSNN-ANNアーキテクチャは、イベントベースオプティカルフロー推定において、SNNオンリーモデルおよびANNオンリーモデルを上回る性能を達成できるか？
• RQ2 SNN層の数と配置は、精度、トレーニングの複雑さ、推論エネルギーのトレードオフにどのように影響するか？
• RQ3 このハイブリッドアーキテクチャは、GPUやEyerissなどの標準的な機械学習ハードウェア上で、効率的にデプロイ可能でありながら、競争力のある性能を達成できるか？
• RQ4 本ハイブリッドモデルでは、明示的な時系列入力符号化（例：ボクセル化）が行われないが、これによりANNベースのモデルと比較して優れた時系列特徴学習が可能になるか？
• RQ5 AEEとエネルギー効率の観点から、本ハイブリッドアーキテクチャは、先行するハイブリッドモデルおよび最先端のSNN/ANNベースラインと比較して、どのように差をつけるか？

主な発見

• 提案されたハイブリッドアーキテクチャは、SNNオンリーベースラインと比較して、DSEC-flowデータセットで平均エンドポイント誤差（AEE）が31%低く、推論エネルギーが2.1倍低い。
• MVSECデータセットでは、SNNオンリーアーキテクチャと比較して、AEEが24.8%低く、推論エネルギーが3.1倍低い。
• ミニハイブリッド構成は、MVSECにおいてANNオンリーバージョンと比較してAEEが47%低く、SNNオンリーバージョンと比較して24%低い。
• MVSECにおいて、完全にスパイク型のXLIF-EV-FlowNetと比較してAEEが37%低く、FireFlowNet-SNNベースラインと比較して12.5%低い。
• Pico-Hybrid（21.30 mJ）はANNオンリーモデル（14.20 mJ）と同等のエネルギー効率を達成している一方で、SNNオンリーモデル（61.72 mJ）を著しく上回っている。
• アブレーションスタディの結果、SNN層の数を増やすと性能が低下することが確認され、このハイブリッド構成では、わずか数層のSNN層が時系列符号化に最適であることが示された。