[論文レビュー] Supervised Learning in Spiking Neural Networks with Phase-Change Memory Synapses

S. R. Nandakumar, Irem Boybat+4 more|arXiv (Cornell University)|May 28, 2019

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

本論文は、ナノスケールの相変化メモリ（PCM）シナプスを用いたスパikingニューラルネットワーク（SNN）における監視付き学習の初の実験的実現を示している。PCMベースの計算メモリアレイを用いて並列かつイン・サイトでの重み更新を実現し、デバイスの非理想特性を補償する統計モデルを組み合わせることで、状態依存のコンダクタンス変化やドリフトにもかかわらず、1ミリ秒未塔の精度でスパイクタイミングを生成するシステムを実現した。

ABSTRACT

Spiking neural networks (SNN) are artificial computational models that have been inspired by the brain's ability to naturally encode and process information in the time domain. The added temporal dimension is believed to render them more computationally efficient than the conventional artificial neural networks, though their full computational capabilities are yet to be explored. Recently, computational memory architectures based on non-volatile memory crossbar arrays have shown great promise to implement parallel computations in artificial and spiking neural networks. In this work, we experimentally demonstrate for the first time, the feasibility to realize high-performance event-driven in-situ supervised learning systems using nanoscale and stochastic phase-change synapses. Our SNN is trained to recognize audio signals of alphabets encoded using spikes in the time domain and to generate spike trains at precise time instances to represent the pixel intensities of their corresponding images. Moreover, with a statistical model capturing the experimental behavior of the devices, we investigate architectural and systems-level solutions for improving the training and inference performance of our computational memory-based system. Combining the computational potential of supervised SNNs with the parallel compute power of computational memory, the work paves the way for next-generation of efficient brain-inspired systems.

研究の動機と目的

• ナノスケールのPCMデバイスを用いて、高性能でイベント駆動型、イン・サイトでの監視付き学習を実現可能なSNNの実現可能性を示すこと。
• 状態依存のコンダクタンス変調やコンダクタンスドリフトといったPCMの非理想特性が引き起こす課題を、システムレベルの補償戦略により解決すること。
• SNNとPCMベースの計算メモリアレイを統合し、音声などの時間符号化信号のエネルギー効率的かつリアルタイム処理を可能にすること。
• デバイス動作の統計モデルとハードウェア実験を用いて、PCMベースのSNNのトレーニングおよび推論性能を検証すること。
• トレーニング精度と耐障害性の向上を目的として、マルチ-PCM構成やアレイレベルのスケーリングといったアーキテクチャ的ソリューションを検討すること。

提案手法

• シナプス重みをPCMデバイスのコンダクタンス値として格納する計算メモリアーキテクチャを採用し、オームの法則およびキルヒホッフの法則に従って並列的な行列-ベクトル乗算を実現した。
• Cm = 300 pF、gL = 30 nS、EL = -70 mV、VT = 20 mV、tref = 2 ms のパrametersを有するリッジ・インテグレート・アンド・ファイア（LIF）ニューロンモデルを用い、0.1 msの時間分解能でシミュレーションした。
• SNNの重み（範囲 [-6000, 6000]）をマルチ-PCM構成を用いてPCMコンダクタンス値にマッピングし、各デバイスが [0.1, 8] μS を寄与するようにし、重み範囲の忠実度を維持するためのスケーリング係数を適用した。
• 部分的・セットパルス（50 ns継続、40–130 μAの振幅）を用いて、各トレーニングエポック後にPCMコンダクタンス値を更新するNormADトレーニングアルゴリズムを実装した。
• FPGAおよびアナログフロントエンドボードを介したハードウェアインターフェースにより、コンダクタンス値（0.3 Vで測定）の読み取りと重みのプログラムを実施し、各エポックを約6.3秒でエミュレートした。
• トレーニング後経過時間に基づくアレイレベルのスケーリングを用いて、推論時補正を実施し、コンダクタンスドリフトの影響を軽減した。

実験結果

リサーチクエスチョン

• RQ1 相変化メモリデバイスは、高精度な時間的同期を必要とするSNNにおける監視付き学習のシナプス重みとして効果的に使用可能か？
• RQ2 PCMデバイスに見られる状態依存のコンダクタンス変化およびコンダクタンスドリフトは、SNNのトレーニングおよび推論性能にどのように影響を与えるか？
• RQ3 マルチ-PCM構成およびアレイレベルのスケーリングは、PCMベースのSNNにおけるトレーニング精度と耐障害性をどの程度向上できるか？
• RQ4 PCMデバイスを用いた計算メモリアーキテクチャは、イベント駆動型で時間符号化された入力信号に対するリアルタイムかつイン・サイトでのSNNトレーニングを可能にするか？
• RQ5 SNN推論中に非理想PCM挙動を補償するために、どのようなシステムレベルの戦略が有効か？

主な発見

• PCMベースのSNNは、アルファベットの時間符号化音声信号に対して、数ミリ秒の精度で出力スパイクトレインを生成する学習に成功した。
• マルチ-PCM構成による細分化の向上により、デバイスレベルの非理想特性の影響が軽減され、トレーニング精度が向上した。
• 推論中のコンダクタンスドリフトは、トレーニング後経過時間に基づくアレイレベルのスケーリングにより効果的に補償され、ソフトウェア同等レベルの性能に回復した。
• 100エポックにわたり安定した学習性能を示し、コンダクタンス値の読み取りとプログラムを逐次的に行い、平均して1エポックあたり約6.3秒を要した。
• PCM挙動の統計モデルは、デバイスの非理想特性を正確に捉え、シナプス重みのドリフトおよび状態依存更新の信頼性ある予測と補償を可能にした。
• PCMベースの計算メモリとSNNの統合により、イン・サイト学習機能を備えたエネルギー効率的かつスケーラブルなブレインインスパイアドコンピューティングシステムの実現可能性が示された。