[論文レビュー] Single Flux Quantum Based Ultrahigh Speed Spiking Neuromorphic Processor Architecture

Ali Bozbey, Mustafa Altay Karamuftuoglu+2 more|arXiv (Cornell University)|Dec 26, 2018

Neural Networks and Reservoir Computing参考文献 106被引用数 12

ひとこと要約

本論文は、単一フラックス量子（SFQ）技術を用いたスパikingニューロモルフィックプロセッサアーキテクチャを提案する。このアーキテクチャは、超伝導性の人工ニューロンであるJJ-ニューロンを採用しており、ultrahigh-speed動作が可能である。1.2×10¹⁰ SOPSの性能を達成し、8.57×10¹¹ SOPS/Wの効率を実現した。IRISデータセットでは100%の正確性を示し、10¹⁸ SOPSおよび10¹⁷ SOPS/Wへのスケーラビリティを示しており、CMOSおよびナノフォトニクスベースのシステムと比較して、5桁以上も優れている。

ABSTRACT

Artificial neural networks inspired by brain operations can improve the possibilities of solving complex problems more efficiently. Today's computing hardware, on the other hand, is mainly based on von Neumann architecture and CMOS technology, which is inefficient at implementing neural networks. For the first time, we propose an ultrahigh speed, spiking neuromorphic processor architecture built upon single flux quantum (SFQ) based artificial neurons (JJ-Neuron). Proposed architecture has the potential to provide higher performance and power efficiency over the state of the art including CMOS, memristors and nanophotonics devices. JJ-Neuron has the ultrafast spiking capability, trainability with commodity design software even after fabrication and compatibility with commercial CMOS and SFQ foundry services. We experimentally demonstrate the soma part of the JJ-Neuron for various activation functions together with peripheral SFQ logic gates. Then, the neural network is trained for the IRIS dataset and we have shown 100% match with the results of the offline training with 1.2x${10}^{10}$ synaptic operations per second (SOPS) and 8.57x${10}^{11}$ SOPS/W performance and power efficiency, respectively. In addition, scalability for ${10}^{18}$ SOPS and ${10}^{17}$ SOPS/W is shown which is at least five orders of magnitude more efficient than the state of the art CMOS circuits and one order of magnitude more efficient than estimations of nanophotonics-based architectures.

研究の動機と目的

• 人工ニューラルネットワークの実装において、バーナウルマン型およびCMOSベースのアーキテクチャの非効率性を克服すること。
• 超伝導性単一フラックス量子（SFQ）技術を用いて、極めて高速かつ高効率なニューロモルフィックプロセッサを開発すること。
• ヨセフソン接合（JJ-ニューロン）を用いて、学習可能でスケーラブルかつCMOS互換性を持つ人工ニューロンを設計すること。
• 標準データセットを用いた実験的検証を通じて、リアルタイムで高速なニューラルネットワーク推論を実証すること。
• 最新技術と比較してエネルギー効率が桁違いに優れたエクサスケールのニューロモルフィックコンピューティングへの道筋を確立すること。

提案手法

• アーキテクチャは、100 fs未満のスイッチング速度を実現するヨセフソン接合に基づくJJ-ニューロンに依存している。
• SFQ論理ゲートを用いて、JJ-ニューロンのセルボディ（ soma ）が複数の活性化関数に対して実験的に検証された。
• スパイク符号化、復号化、シナプス演算を支援する周辺SFQ論理回路が統合された。
• ニューラルネットワークは標準的なソフトウェアツールで学習され、プロセッサのプロトタイピング後、SFQハードウェア用にコンパイルされた。
• 超伝導回路の内在的高速性と低エネルギー消費特性を活用することで、高いSOPSおよびSOPS/Wの指標が達成された。
• スケーラビリティは外挿モデルを用いて分析され、10¹⁸ SOPSおよび10¹⁷ SOPS/Wまでの性能予測がなされた。

実験結果

リサーチクエスチョン

• RQ1 超伝導性ニューロモルフィックプロセッサは、CMOSベースのシステムと比較して顕著に高速かつ高効率な性能を達成できるか？
• RQ2 プロセッサのプロトタイピング後、従来の設計ツールを用いてJJ-ニューロンを学習可能か？実用的導入が可能か？
• RQ3 SFQベースの論理部と神経部を統合して、機能的かつスケーラブルなニューロモルフィックプロセッサを構築できるか？
• RQ4 実世界の推論タスク（例：IRISデータセット）において、どのような性能指標（SOPS、SOPS/W）が達成可能か？
• RQ5 このアーキテクチャは、エクサスケールのニューロモルフィックコンピューティング水準までどの程度スケーリング可能か？

主な発見

• SFQ論理ゲートを用いて、複数の活性化関数に対してJJ-ニューロンのセルボディが実験的に検証され、機能的信頼性が確認された。
• 学習済みニューラルネットワークは、IRISデータセットで100%の分類正確性を達成し、オフライン学習結果と一致した。
• システムは1.2×10¹⁰ SOPSの性能を達成し、8.57×10¹¹ SOPS/Wのエネルギー効率を示した。
• アーキテクチャは10¹⁸ SOPSおよび10¹⁷ SOPS/Wへのスケーリングが可能であり、最新のCMOS回路と比較して少なくとも5桁の性能向上を示した。
• 商業用CMOSおよびSFQファウンドリー・サービスと互換性があるため、実用的なプロセスと統合が可能である。
• プロトタイピング後、商用EDAツールを用いた学習が可能であり、柔軟な展開が実現された。