[論文レビュー] Intelligence Processing Units Accelerate Neuromorphic Learning

Pao-Sheng Vincent Sun, Alexander Titterton+5 more|arXiv (Cornell University)|Nov 19, 2022

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

本論文では、スパikingニューラルネットワーク（SNN）の誤差逆伝播学習を高速化するために、低レベルで事前コンパイルされたカスタム演算を活用した、IPUに最適化されたsnntorch SNNフレームワークを提示する。IPUのマルチインstructionマルチデータ（MIMD）並列処理とパラメータの集団符号化を活用することで、NVIDIA A100 GPUと比較して最大21.3倍のスループットを達成し、ドメイン特化型アクセラレータがSNN学習の効率を顕著に向上させつつ、精度を維持できることを示している。

ABSTRACT

Spiking neural networks (SNNs) have achieved orders of magnitude improvement in terms of energy consumption and latency when performing inference with deep learning workloads. Error backpropagation is presently regarded as the most effective method for training SNNs, but in a twist of irony, when training on modern graphics processing units (GPUs) this becomes more expensive than non-spiking networks. The emergence of Graphcore's Intelligence Processing Units (IPUs) balances the parallelized nature of deep learning workloads with the sequential, reusable, and sparsified nature of operations prevalent when training SNNs. IPUs adopt multi-instruction multi-data (MIMD) parallelism by running individual processing threads on smaller data blocks, which is a natural fit for the sequential, non-vectorized steps required to solve spiking neuron dynamical state equations. We present an IPU-optimized release of our custom SNN Python package, snnTorch, which exploits fine-grained parallelism by utilizing low-level, pre-compiled custom operations to accelerate irregular and sparse data access patterns that are characteristic of training SNN workloads. We provide a rigorous performance assessment across a suite of commonly used spiking neuron models, and propose methods to further reduce training run-time via half-precision training. By amortizing the cost of sequential processing into vectorizable population codes, we ultimately demonstrate the potential for integrating domain-specific accelerators with the next generation of neural networks.

研究の動機と目的

• スパikingニューラルネットワーク（SNN）の誤差逆伝播学習に最適化されたアクセラレータの不足に取り組むこと。SNNは通常、推論においてエネルギー効率が良いが、学習には未だアクセラレータが不足している。
• Graphcoreのインテリジェンスプロセッシングユニット（IPU）が、SNN学習に内在する逐次的でスパースかつ非規則的な計算パターンを効率的に処理できるかを検討すること。
• 高スループット・低レイテンシの学習を可能にする、snntorch SNNフレームワークのIPU最適化版の開発およびベンチマークを実施すること。
• 半精度学習と集団符号化がSNN学習のパフォーマンスと精度に与える影響を評価すること。

提案手法

• 不規則的かつスパースなデータアクセスパターンを高速化するために、低レベルで事前コンパイルされたカスタム演算を用いて、snntorch SNNフレームワークをGraphcoreのIPU上で実行可能にする。
• IPUのマルチインstructionマルチデータ（MIMD）実行モデルを活用し、個々の処理スレッドを小さなデータブロックにマッピングすることで、スパikingニューロンダイナミクスの逐次的性質と整合させる。
• 集団符号化を実装することで、時間的コストを空間的次元に再配分し、繰り返しの小規模計算からベクトル化された行列演算に置き換える。
• 関数的アウイングとニューロンおよびシナプス演算子のバランスの取れたコンパイルを用いて、IPUカーネル実行とメモリアクセスパターンを最適化する。
• CIFAR-10およびMNISTデータセットを用いて、複数のSNNモデルと精度レベル（半精度およびフル精度）でパフォーマンスをベンチマークする。
• snntorchに集団符号化を統合し、公開されたインタラクティブなノートブックを提供することで、IPUおよびGPUの両方でクロスプラットフォームの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 IPUベースのアクセラレータは、誤差逆伝播を用いたSNN学習においてGPUを上回ることができるか？
• RQ2 IPUおよびGPU上で実行するSNNの学習スループットと精度に、集団符号化がどのように影響を与えるか？
• RQ3 IPU上でSNNワークロードに半精度学習を適用することで、どの程度のパフォーマンス向上が達成可能か？
• RQ4 再帰的SNNにおいて、GPUとIPUのパフォーランスがどのアーキテクチャ的範囲で一致するか？
• RQ5 集団符号化を用いることで、精度を損なわずに1ステップで学習を実現できる範囲はどの程度か？

主な発見

• IPUに最適化されたsnntorchフレームワークは、SNN学習においてNVIDIA A100 GPUと比較して最大21.3倍のスループットを達成し、ピーク性能は約145,000画像/秒に達する。
• 最低スループット時、深層SNNにおいてIPUとA100がパフォーマンスで一致するため、特定のネットワークアーキテクチャではパフォーマンスクロスオーバーポイントが存在することが示された。
• 集団符号化により、逐次的計算コストが空間的次元に再配分され、ベクトル化された演算が可能になり、スループットが顕著に向上した。
• 500個の出力ニューロン（1クラスあたり50個）を有するDSNNは、1ステップで52.2%の精度を達成し、25ステップベースラインと同等の性能を示した。これは、1ステップ学習の実現可能性を示している。
• 半精度学習によりメモリ帯域幅の圧迫が軽減され、特にIPU上ではさらに学習が高速化されたが、精度の著しい損失は生じなかった。
• A100は、集団符号化されたCSNNにおいてIPUを上回った。これは、GPUが末端のシナプス演算を効率的に処理できるためである。