[論文レビュー] Methods for applying the Neural Engineering Framework to neuromorphic hardware

Aaron R. Voelker, Chris Eliasmith|arXiv (Cornell University)|Aug 27, 2017

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本稿では、神経工学フレームワーク（NEF）を用いて、非均質で高次なシナプスダイナミクスおよび軸索伝達遅延を考慮した神経モルフィックハードウェア上での線形および非線形力学的システムの実装手法を提示する。解析的解を導出し、復元された微分の線形結合を活用することで、非理想ハードウェア特性にもかかわらず正確な神経表現を維持しつつ、効率的で要因分解された重み行列を実現する。

ABSTRACT

We review our current software tools and theoretical methods for applying the Neural Engineering Framework to state-of-the-art neuromorphic hardware. These methods can be used to implement linear and nonlinear dynamical systems that exploit axonal transmission time-delays, and to fully account for nonideal mixed-analog-digital synapses that exhibit higher-order dynamics with heterogeneous time-constants. This summarizes earlier versions of these methods that have been discussed in a more biological context (Voelker & Eliasmith, 2017) or regarding a specific neuromorphic architecture (Voelker et al., 2017).

研究の動機と目的

• 従来のアルゴリズムと神経モルフィックシステムにおける連続的でスパイクベースの処理の間の理論的ギャップを埋めること。
• 非理想で混合アナログ・デジタルなシナプスを有する最新の神経モルフィックハードウェアにNEFを体系的に適用するための手法を開発すること。
• 再帰的スパイクニューラルネットワークにおける非均質なシナプス時間定数および軸索伝達遅延を考慮すること。
• 複雑なシナプスモデルに対しても、要因分解された重み行列を維持することで、神経モルフィックハードウェア上での力学的システムの効率的実装を可能にすること。
• 高次シナプスダイナミクスおよび時間遅延を組み込むことで、実世界の神経モルフィックプラットフォームへのNEFの適用範囲を拡張すること。

提案手法

• 入力信号から所望の神経出力をマッピングする伝達関数を導出することで、NEFの原則IIIを高次線形シナプスモデルに一般化する。
• ラプラス変換と状態空間表現を用いてシナプスダイナミクスをモデル化し、因果的かつ物理的に現実的なシステム挙動を保証する。
• 各シナプスに対して、必要な入力信号を状態微分の線形結合として導出することで、シナプス後膜電流の正確な制御を可能にする。
• 主なイノベーションは、状態微分のための共有デコーダーを用いることで、これらのデコーダーの線形結合により複雑なシナプス入力を再構成できる点である。
• 重み行列の要因分解を活用し、最大微分次数kに対しk+1個の成分のみをデコードすることで、計算コストをO(n²)からO(kn)に削減する。
• 時間遅延ダイナミクスに対処するための解析的解をラマヌジャン・W関数を用いて導出し、システムの進化中に柔軟な表現変更を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経モルフィックハードウェア上での非均質な時間定数を持つ高次シナプスダイナミクスをNEFでどのように拡張できるか。
• RQ2 NEFを用いてスパイクニューラルネットワークで軸索伝達遅延を正確にモデル化し、活用することは可能か。
• RQ3 複雑なシナプスダイナミクスを考慮する際、ニューラルネットワーク実装の計算効率をどのように維持できるか。
• RQ4 シナプスの非理想性が、スパイクネットワークにおける力学的システム実装の正確性に与える影響は何か。
• RQ5 神経表現次元数の変更を許容しつつも正しいシステムダイナミクスを維持できるように、NEFを一般化することは可能か。

主な発見

• 本手法により、非均質で高次なシナプスダイナミクスを完全に考慮することで、神経モルフィックハードウェア上での線形および非線形力学的システムの正確な実装が可能になる。
• 状態微分のための共有デコーダーの使用により、最適化問題の数をO(n)からO(k)に削減できる。ここでkは最大微分次数である。
• 要因分解された重み行列を維持することで、複雑なシナプスモデルに対してもO(n)の空間的・時間的効率を保つ。
• ラマヌジャン・W関数を用いた解析的解により、特に時間遅延系において、システムの進化中に柔軟な表現変更が可能になる。
• 非理想で混合アナログ・デジタルなシナプスを使用しても、ネットワークの入出力伝達関数が所望のダイナミクスと一致することを保証する。
• 時間遅延を標準状態空間形式に変換するためにPadé近似が用いられ、収束半径内での内部表現が保持される。