[論文レビュー] Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses

Yiğit Demirağ, Charlotte Frenkel+2 more|arXiv (Cornell University)|Aug 4, 2021

Advanced Memory and Neural Computing参考文献 70被引用数 12

ひとこと要約

本稿では、相変化メモリ（PCM）シナプスを用いたスパイク型再帰的ニューラルネットワーク（SNN）のためのハードウェアに配慮したトレーニングフレームワークを提案する。PCMの非理想性にもかかわらず、勾配蓄積を用いたオンライン学習を可能にする。混合精度の重み更新により、低解像度のPCMデバイス上でも正確で低学習率の更新が可能となり、トレーニングの安定性と精度が著しく向上することを示している。

ABSTRACT

Spiking recurrent neural networks (RNNs) are a promising tool for solving a wide variety of complex cognitive and motor tasks, due to their rich temporal dynamics and sparse processing. However training spiking RNNs on dedicated neuromorphic hardware is still an open challenge. This is due mainly to the lack of local, hardware-friendly learning mechanisms that can solve the temporal credit assignment problem and ensure stable network dynamics, even when the weight resolution is limited. These challenges are further accentuated, if one resorts to using memristive devices for in-memory computing to resolve the von-Neumann bottleneck problem, at the expense of a substantial increase in variability in both the computation and the working memory of the spiking RNNs. To address these challenges and enable online learning in memristive neuromorphic RNNs, we present a simulation framework of differential-architecture crossbar arrays based on an accurate and comprehensive Phase-Change Memory (PCM) device model. We train a spiking RNN whose weights are emulated in the presented simulation framework, using a recently proposed e-prop learning rule. Although e-prop locally approximates the ideal synaptic updates, it is difficult to implement the updates on the memristive substrate due to substantial PCM non-idealities. We compare several widely adapted weight update schemes that primarily aim to cope with these device non-idealities and demonstrate that accumulating gradients can enable online and efficient training of spiking RNN on memristive substrates.

研究の動機と目的

• 相変化メモリ（PCM）基板上でのスパイク型再帰的ニューラルネットワーク（SNN）のオンライン、ハードウェアフレンドリーなトレーニングを可能にすること。
• サイクル間変動、$1/f$ノイズ、限られた解像度を含む、PCMにおけるデバイス非理想性の課題に対処すること。
• PCM非理想性を緩和するための重み更新方式の評価と比較を行い、信頼性の高いトレーニングを実現すること。
• 勾配蓄積が低精度PCMデバイス上でも効果的なトレーニングを可能にし、高い精度を維持することを実証すること。

提案手法

• 著者らは、確度の高いPCMデバイスモデルを用いた微分アーキテクチャクロスバー配列のシミュレーションフレームワークを開発した。このモデルには確率的スイッチングとコンダクタンスドリフトが含まれる。
• 理想的なシナプス更新の局所的・時系列にわたるバックプロパゲーション近似として、e-prop学習ルールを採用した。
• 重み更新方式の評価を実施し、直接e-prop更新、確率的丸め、混合精度勾配蓄積を含む。
• 混合精度更新では、勾配を高精度メモリに蓄積した後、低精度のPCMデバイスに更新を適用することで、プログラミングエラーを低減する。
• 公平な比較を確保するため、1,000回のネットワーク試行において、各更新手法のハイパーパrameterをベイズ最適化で調整した。
• ベンチマークタスクは、100入力ニューロン、100再帰的ニューロン、1出力LIFニューロンを用いて1秒間の4つの正弦波シーケンスを生成することである。

実験結果

リサーチクエスチョン

• RQ1 PCMベースのニューロモルフィックハードウェア上で、デバイス非理想性が存在する中でもスパイク型RNNのオンライントレーニングを信頼性高く達成できるか？
• RQ2 直接e-prop、確率的丸め、勾配蓄積といった異なる重み更新方式が、現実的なPCM制約下でどのように性能を発揮するか？
• RQ3 混合精度勾配蓄積は、低解像度PCMデバイス上でのトレーニング収束性と精度を向上させるか？
• RQ4 サイクル間変動やコンダクタンスドリフトといったPCM固有の効果が、学習性能に及ぼす影響はどの程度か？
• RQ5 勾配蓄積は、ネットワークの精度を維持したまま、必要なPCMプログラミング操作回数を削減できるか？

主な発見

• 混合精度勾配蓄積は、低解像度PCMデバイス上でも正確で低学習率の更新を可能にすることで、全テスト更新方式の中で最高の精度を達成した。
• 高精度メモリに勾配を蓄積することで、PCMの最小プログラマブルコンダクタンス変化に一致する微小な重み更新の有効な利用が可能になった。
• この手法により、必要なPCMプログラミング操作回数が削減され、デバイス非理想性の影響が緩和され、トレーニングの安定性が向上した。
• 確率的丸めと直接e-prop更新は、PCMのばらつきや限られた解像度に対して感受性が高いため、性能が劣った。
• このフレームワークにより、PCM基板上でのスパイク型RNNの信頼性のあるオンライントレーニングが実現され、e-propが実世界のニューロモルフィックハードウェアで実現可能であることが示された。
• 結果から、とくに勾配蓄積を用いたハードウェア・アルゴリズム共同最適化が、非揮発性で低精度なメモリスティブデバイス上での安定したトレーニングに不可欠であることが示唆された。