[論文レビュー] Digital Multiplier-less Event-Driven Spiking Neural Network Architecture for Learning a Context-Dependent Task

Hajar Asgari, Babak Mazloom‐Nezhad Maybodi+2 more|arXiv (Cornell University)|Jun 24, 2019

Advanced Memory and Neural Computing参考文献 45被引用数 5

ひとこと要約

本稿では、強化学習（RL）を用いて文脈に依存する刺激-反応連関を学習するFPGA上に実装された、乗算器を不要とするデジタルでイベント駆動型のスパイクニューラルネットワーク（SNN）アーキテクチャを提示する。乗算器を排除し、STDPに基づく可塑性を有するステートマシンベースのLIFニューロンモデルを採用することで、ハードウェア効率が向上し、100回の試行以内に計算モデルおよび動物実験の行動を正確に再現したロボットのクローズドループ環境で成功裏に動作した。

ABSTRACT

Neuromorphic engineers aim to develop event-based spiking neural networks (SNNs) in hardware. These SNNs closer resemble dynamics of biological neurons than todays' artificial neural networks and achieve higher efficiency thanks to the event-based, asynchronous nature of processing. Learning in SNNs is more challenging, however. Since conventional supervised learning methods cannot be ported on SNNs due to the non-differentiable event-based nature of their activation, learning in SNNs is currently an active research topic. Reinforcement learning (RL) is particularly promising method for neuromorphic implementation, especially in the field of autonomous agents' control, and is in focus of this work. In particular, in this paper we propose a new digital multiplier-less hardware implementation of an SNN. We show how this network can learn stimulus-response associations in a context-dependent task through a RL mechanism. The task is inspired by biological experiments used to study RL in animals. The architecture is described using the standard digital design flow and uses power- and space-efficient cores. We implement the behavioral experiments using a robot, to show that learning in hardware also works in a closed sensorimotor loop.

研究の動機と目的

• 自律システムにおけるニューロモルフィックコンピューティングに適した低消費電力かつ面積効率に優れたデジタルSNNハードウェアアーキテクチャの開発。
• 計算コストの高い乗算器や微分可能活性化関数に依存せずに、SNNにおける強化学習を可能にする。
• スパイクタイミング依存可塑性（STDP）という生物学的に妥当な学習メカニズムを、デジタルでイベント駆動型のフレームワークに実装する。
• 物理的なロボットセンサーモーターループにおいて、ハードウェア実装を検証し、文脈に依存する連関のオンライン学習を実現する。
• 計算モデルによる動物のRL行動と物理的ニューロモルフィックハードウェアシステムとのギャップを埋める。

提案手法

• 指数関数的および乗算演算を回避するため、ステートマシン図法を用いた乗算器を不要とするLIFニューロンモデルの設計。
• 飽和を回避し、安定した重み更新を可能にする簡素化された高精度なSTDPに基づくシナプス可塑性ルールの実装。
• 隠れ層および出力層におけるウィナー・トゥー・アスリーブ（WTA）メカニズムにしきい値マージンを導入し、ウィナー選択の精度を向上。
• 再構成可能で効率的な標準デジタル設計フローを用いて、FPGA（Xilinx Kintex-7）上にSNNアーキテクチャをマッピング。
• FPGAベースのSNNを、点滅するLEDを文脈刺激として使用するロボットエージェント（Pushbot）と結合し、クローズドループセンサーモーターシステムを構築。
• 刺激をスパイクタイミングにエンコードし、報酬信号を用いて強化学習の更新ルールによりシナプス重みを調整。

実験結果

リサーチクエスチョン

• RQ1 乗算器を不要とするデジタルSNNアーキテクチャは、文脈に依存するタスクの強化学習を効率的にハードウェア実装できるか？
• RQ2 本研究で提示されたハードウェア実装は、計算モデルおよび生物学的実験と比較して、学習性能およびダイナミクスにおいてどの程度類似しているか？
• RQ3 イベント駆動処理とSTDP学習を有するデジタルSNNは、文脈に依存するタスクにおいて、どの程度動物の行動を再現できるか？
• RQ4 収束性および安定性に影響を与える重要な設計パrameter（例：ビット幅、初期重みのランダムネス、LTP/LTD値、しきい値マージン）は何か？
• RQ5 物理的ロボットシステムは、イベントベースのスパイク信号と強化フィードバックのみを用いて、刺激-文脈連関を成功裏に学習できるか？

主な発見

• ハードウェア実装されたSNNは100回の試行以内に文脈に依存するタスクを正しく学習し、計算モデルおよび動物実験の結果と一致した。
• すべての数値に32ビット固定小数点表現を用いることで、システムは安定性を確保し、オーバーフローを防止した。
• WTAネットワークにおけるしきい値マージンの導入により、ウィナー選択の精度が向上し、信頼性の高い学習結果が得られた。
• 十分なビット分解能を有する初期化により、シナプス重みのランダムネスがネットワークの収束能力を高め、局所最適解の回避に寄与した。
• ロボット実験では、オンライン学習が成功裏に実現された：Pushbotは高さ（文脈）に基づいて刺激を区別し、物体の位置に依存せずに正しい行動を学習した。
• 乗算器を不要とする設計により、従来のSNN実装と比較して面積および消費電力を顕著に削減し、効率的なFPGAデプロイメントを実現した。