[論文レビュー] Spiking Neural Networks for Inference and Learning: A Memristor-based Design Perspective

M. E. Fouda, F. Kurdahi+2 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Memory and Neural Computing被引用数 23

ひとこと要約

本稿では、スパイク時間依存可塑性（STDP）よりも優れた学習性能を達成するため、予突触活動、後突触活動、および神経調節物質の3要因を統合した学習則を活用する、memristorベースのスパイキングニューラルネットワーク（SNN）のハードウェア設計を提案する。memristorの非理想性（たとえば、確率的特性や内在的ダイナミクス）を活用することで、効率的なメモリ内計算が可能となり、神経形状推論および学習におけるエネルギー効率とスケーラビリティが向上する。

ABSTRACT

On metrics of density and power efficiency, neuromorphic technologies have the potential to surpass mainstream computing technologies in tasks where real-time functionality, adaptability, and autonomy are essential. While algorithmic advances in neuromorphic computing are proceeding successfully, the potential of memristors to improve neuromorphic computing have not yet born fruit, primarily because they are often used as a drop-in replacement to conventional memory. However, interdisciplinary approaches anchored in machine learning theory suggest that multifactor plasticity rules matching neural and synaptic dynamics to the device capabilities can take better advantage of memristor dynamics and its stochasticity. Furthermore, such plasticity rules generally show much higher performance than that of classical Spike Time Dependent Plasticity (STDP) rules. This chapter reviews the recent development in learning with spiking neural network models and their possible implementation with memristor-based hardware.

研究の動機と目的

• スパイキングニューラルネットワーク（SNN）におけるアルゴリズム的進展と、memristorベースの神経形状ハードウェアを用いた実装との間のギャップを埋める。
• 従来のメモリへの直接置き換えとしてのmemristorの使用にとどまらず、合成可塑性則をデバイスの物理的特性および非理想性と一致させることで、その限界を克服する。
• memristorクロスバー構造と互換性のあるハードウェアに配慮した勾配ベースの可塑性則を用いて、SNNにおける高性能でエネルギー効率の良い学習および推論を実現する。
• シナプスおよび神経動態（時間的トレースや神経調節）が、memristorアレイを用いてどのように実装可能かを調査し、時間的責任割り当て問題を解決する。
• memristorの確率的特性や非理想性を活用することで、ディープラーニングにおけるドロップアウトや重み正規化と同様に、学習のロバスト性が向上することを示す。

提案手法

• 漏れ積算・発火（LIF）ニューロンモデルを用いた再帰的ネットワークとしてSNNを定式化し、シナプス電流およびスパイクトレインを含む微分方程式によって膜電位ダイナミクスを記述する。
• 予突触スパイク活動、後突触膜電位、および神経調節物質の3要因を含む3要因学習則を用いて合成可塑性を実装し、生物学的に妥当な責任割り当てを可能にする勾配ベースの学習を実現する。
• memristorクロスバーを用いてハードウェア上でベクトル・マトリクス乗算（スパイク・ウェイト相互作用）を実行し、合成可塑性の重みを導電率状態として格納する。
• RC型回路または拡散型memristorを用いてシナプスおよび神経トレースを実装し、非線形SNNにおける責任割り当てに必要な時間的ダイナミクスを捉える。
• STDPおよび3要因学習を可能にするために、CMOSベースの補助回路（例：2T1R構成）を統合し、非ゼロのアルファ・ベータパラメータに対応するフィルタリング機構を実装する。
• memristorの確率的特性を正則化子として活用し、ドロップアウトや重み正規化に類似した一般化性能の向上とロバストネスの向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 デバイスの物理的制約を考慮すると、memristorベースのハードウェアが、スパイキングニューラルネットワークにおける3要因学習則を効果的に実装するにはどうすればよいか。
• RQ2 memristorの非理想性（たとえば、確率的特性、抵抗ドリフト、ばらつき）が、SNNにおける学習性能にどのように寄与するか、または損なうか。
• RQ3 非線形ダイナミクスを示すSNNにおいて、時間的責任割り当て問題を解消するために、memristorアレイにシナプスおよび神経トレースを効率的に実装できるか。
• RQ4 memristorクロスバーにマッピングされた場合、勾配ベースの3要因可塑性則とSTDPとの間で、性能およびハードウェア効率にどのような差が生じるか。
• RQ5 memristorの内在的ダイナミクス（たとえば、拡散挙動）を活用することで、追加のCMOS回路を必要とせずに、神経およびシナプス統合を模倣できるか。

主な発見

• 予突触活動、後突触膜電位、および神経調節物質を統合する3要因学習則は、画像認識やICAなどのタスクにおいて、古典的なSTDPよりも学習精度および収束速度で一貫して優れた性能を示す。
• memristorの確率的特性は正則化の一種として機能し、ドロップアウトや重み正規化と同様に一般化性能を向上させ、過学習を低減する。
• RC回路または拡散型memristorを用いたシナプスおよび神経トレースの実装により、非線形SNNにおける責任割り当てに必要な時間的ダイナミクスの計算が可能になる。
• 後突触ニューロンレベルでの神経調節の統合は、効果的な3要因学習に不可欠であり、専用のCMOSコンpartmentsまたはmemristorベースの回路を用いて実装可能である。
• 固定パターンノイズは、重みごとの学習レートのばらつきを引き起こすため、学習を損なう可能性があるが、独立したノイズは有益であり、正則化に活用可能である。
• 可塑性則のハードウェアに配慮した設計により、メモリ内計算が効率的に行えるようになり、外部メモリアクセスが削減され、SNN実装におけるエネルギー効率が向上する。