[論文レビュー] Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA

Ali Mehrabi, Yeshwanth Bethi+3 more|arXiv (Cornell University)|May 31, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、最適化された深層イベント駆動型スパイクニューラルネットワークアーキテクチャ（ODESA）の最初のFPGA実装を提示する。この実装により、バックプロパゲーションを伴わない、勾配フリーでオンラインで教師あり学習可能な多層ネットワークの実現が可能となり、ハードウェア最適化された重みおよびしきい値の更新が可能となる。システムはイベント駆動型のバイナリスパイクを用い、局所的学習ルールと固定ステップ更新を採用し、IRISデータセットで86.6%の精度を達成しながら最小限のハードウェアコストで実現した。これは、リソース制限のあるエッジデバイスにおいてソフトウェア水準に近い性能を実現したことを示している。

ABSTRACT

This paper presents an efficient hardware implementation of the recently proposed Optimized Deep Event-driven Spiking Neural Network Architecture (ODESA). ODESA is the first network to have end-to-end multi-layer online local supervised training without using gradients and has the combined adaptation of weights and thresholds in an efficient hierarchical structure. This research shows that the network architecture and the online training of weights and thresholds can be implemented efficiently on a large scale in hardware. The implementation consists of a multi-layer Spiking Neural Network (SNN) and individual training modules for each layer that enable online self-learning without using back-propagation. By using simple local adaptive selection thresholds, a Winner-Takes-All (WTA) constraint on each layer, and a modified weight update rule that is more amenable to hardware, the trainer module allocates neuronal resources optimally at each layer without having to pass high-precision error measurements across layers. All elements in the system, including the training module, interact using event-based binary spikes. The hardware-optimized implementation is shown to preserve the performance of the original algorithm across multiple spatial-temporal classification problems with significantly reduced hardware requirements.

研究の動機と目的

• バックプロパゲーションを伴わない、リソース制限のあるハードウェア上で効率的でリアルタイムな、多層スパイクニューラルネットワークのオンライン学習を可能にすること。
• 非因果的誤差バックプロパゲーションや連続値勾配を回避する生物学的に妥当な局所的学習ルールの実装。
• 固定ステップ更新と整数演算を用いることでハードウェアの複雑さを低減しながら分類精度を維持すること。
• ニューロモルフィックエッジデバイスにおけるストリーミングパターン検出のため、オンチップでイベント駆動型かつ非同期的学習を実現すること。
• 標準ベンチマークデータセット上で、ソフトウェア版ODESAと比較してハードウェア実装の妥当性を検証すること。

提案手法

• システムは、すべてのコンponent間でイベント駆動型のバイナリスパイク通信を採用する多層SNNを採用する。
• 各層には、修正されたヒブスラールを用いてオンラインで局所的に重みとしきい値を更新する専用のトレーニングモジュールが含まれる。
• 重みの更新は固定ステップルールに従い、ターゲットスパイク時刻が現在の重みを超える場合に2ずつ増加し、それ以外の場合は2ずつ減少する。
• しきい値の更新には、現在のしきい値値に基づく適応的ステップサイズ（ΔT）が用いられ、アンダーフローを回避する。η_T = 2^-10 である。
• トレーニングプロセスは、LAS信号がGAS信号の後にのみ発生するようにマスキングすることで加速され、不要な更新が削減される。
• ネットワークは入力符号化にラティンシーコーディングを用い、トレーニングデータはオンチップRAMに格納され、ハードウェアリセットに基づく再トレーニングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションや勾配計算なしに、ハードウェア上で多層SNNをオンラインで学習可能か？
• RQ2 固定ステップで整数演算を用いた重みおよびしきい値の更新は、浮動小数点ソフトウェア実装と比較して分類精度を維持できるか？
• RQ3 局所的学習ルールを用いたイベント駆動型非同期学習は、最小限のハードウェアコストで標準ベンチマークで競争力のある性能を達成できるか？
• RQ4 高いトレーニングダイナミクスのばらつきを持つ複数のランダムデータ分割において、システムは性能を維持できるか？
• RQ5 ハードウェア最適化されたODESAは、元のソフトウェアベースのODESAと比較して、精度および収束性において優れているか？

主な発見

• ハードウェア実装されたODESAは、20回のランダムなデータ分割を経て、IRISデータセットで平均79.5% ± 7.2の精度を達成し、最大で86.6%の精度を記録した。
• 固定小数点演算と非正規化された重みを用いても、ソフトウェア版ODESA（82.8% ± 1.7）と比較してわずかな精度の低下に抑えられた。
• ハードウェア版の標準偏差（±7.2）はソフトウェア版（±1.7）よりも高かったため、固定ステップ更新による収束の不安定性が示された。
• オンチップRAMを用いたデータ保存とイベント駆動型スパイク通信を用いて、オンチップでオンライン学習を成功裏に実装した。
• LAS信号をGAS信号の後に発生させるようにマスキングすることで、トレーニングエポック数が顕著に減少し、収束が加速された。
• FPGA実装は高いエネルギー効率と低リソース使用量を達成しており、エッジデバイスにおけるリアルタイムで継続的な学習に適している。