[論文レビュー] Functional Specification of the RAVENS Neuroprocessor

Adam Z. Foshie, James S. Plank+2 more|arXiv (Cornell University)|Jul 27, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、FPGA、マイコン、CMOSを含む多様なプラットフォーム向けに再構成可能な神経プロセッサ RAVENS の機能的仕様を提示する。ニューロンおよびシナプスのダイナミクス、自己周期、STDP可塑性、ハードウェア定数を詳細に記述し、統一されたソフトウェアフレームワークを介して、すべての RAVENS バリエーションで一貫した実装とシミュレーションを可能にする。

ABSTRACT

RAVENS is a neuroprocessor that has been developed by the TENNLab research group at the University of Tennessee. Its main focus has been as a vehicle for chip design with memristive elements; however it has also been the vehicle for all-digital CMOS development, plus it has implementations on FPGA's, microcontrollers and software simulation. The software simulation is supported by the TENNLab neuromorphic software framework so that researchers may develop RAVENS solutions for a variety of neuromorphic computing applications. This document provides a functional specification of RAVENS that should apply to all implementations of the RAVENS neuroprocessor.

研究の動機と目的

• FPGA、マイコン、CMOS、ソフトウェアシミュレーションを含むすべての実装に適用可能な、RAVENS ニューロプロセッサの統一された機能的仕様を定義すること。
• 標準化されたハードウェア定数とネットワーク設定を用いて、スパikingニューラルネットワークアプリケーションの設計およびデプロイメントを一貫して可能にすること。
• 多様なニューロモーフィックハードウェアプラットフォームと互換性を持つポータブルで拡張可能なフレームワークを通じて、ニューロモーフィックコンピューティング研究を支援すること。
• ニューロンの動作、シナプスダイナミクス、および可塑性ルール（例：STDP）を形式化し、信頼性の高い再現性のあるニューロプロセッサ動作を実現すること。
• ニューロモーフィックスターターキットおよび将来の組み込みニューロモーフィックシステムにおけるハードウェア・ソフトウェア共同設計の基盤を提供すること。

提案手法

• 実装時固定のハードウェア定数（例：最大シナプス遅延、ビット幅）を JSON または HDL ファイルで定義し、リソース使用量とパフォーマンスに影響を与える。
• ネットワーク設定（ニューロン設定：しきい値、静止膜電位、シナプス設定：重み、可塑性テーブル、全体設定）を JSON で定義し、ネットワーク動作を構成する。
• 離散的積分サイクルを用いてニューロンを実装：蓄積レジスタをしきい値と比較；超過した場合、スパイクを発火させ、スパイク伝搬および可能性のある自己周期状態を引き起こす。
• 絶対的自己周期（入力が処理されない）および相対的自己周期（入力感度が低下）の2種類の自己周期をモデル化；所定の期間経過後に通常動作に回復する。
• 事前および事後のスパイクタイミングに基づき、可変テーブルを用いてシナプス重みを動的に調整する STDP（スパイクタイミング依存可塑性）を適用。
• タイムステップごとにネットワーク活動を段階的にシミュレート；スパイク伝搬、電荷蓄積、重み変化を追跡；スパイクが「飛行中」である場合も対応可能。

Figure 1: Simple integrate-and-fire network.

実験結果

リサーチクエスチョン

• RQ1 どのようにして神経プロセッサアーキテクチャを機能的に仕様化することで、FPGA、マイコン、CMOS、ソフトウェアシミュレーションなど多様な実装において一貫した動作を保証できるか？
• RQ2 ハードウェア定数は、RAVENS 実装のリソース使用量、パフォーマンス、スケーラビリティにどのように寄与するか？
• RQ3 絶対的および相対的自己周期は、スパキングニューラルネットワークにおけるニューロン応答およびネットワークダイナミクスにどのように影響するか？
• RQ4 スパイクが「飛行中」である場合に STDP 可塑性はどのように作用し、シナプス重みの進化にどのような影響を与えるか？
• RQ5 統一されたソフトウェアフレームワークは、異なるプラットフォーム間で RAVENS ベースのニューロモーフィックアプリケーションのポータブルな開発およびシミュレーションを可能にするか？

主な発見

• RAVENS は、ハードウェア定数とネットワーク設定に基づく標準化された機能的仕様により、すべての実装で一貫した動作を実現する。
• 最大シナプス遅延などのハードウェア定数は、リソース消費量、処理時間、電力使用量に直接影響を与え、ネットワークサイズとパフォーマンスのトレードオフを示す。
• ニューロンは2種類の自己周期を示す：絶対的（入力が処理されない）および相対的（感度が低下）；所定の期間経過後に通常動作に回復する。
• STDP 可塑性はスパイクタイミングに基づきシナプス重みを動的に変更する；スパイクが「飛行中」であっても、タイミングテーブルに基づいて正しく重み更新が行われる。
• シミュレーションでは、自己周期中に繰り返しスパイクが発生することで、シナプスがゼロ（例：初期重み4から0）に抑制され、これ以上の発火が防止される。
• TENNLab ソフトウェアフレームワークに統合された RAVENS シミュレータは、複数タイムステップにわたるスパイク伝搬や重み変化を含む、複雑なネットワーク動作の正確かつ再現可能なシミュレーションを可能にする。

Figure 2: A network set so that $Main$ fires every timestep when turned “on.”