[論文レビュー] Superconducting Optoelectronic Neurons V: Networks and Scaling

Jeffrey M. Shainline, Jeff Chiles+4 more|arXiv (Cornell University)|May 4, 2018

Neural dynamics and brain function参考文献 69被引用数 5

ひとこと要約

本稿では、1光子光学インターコネクトと超伝導回路を活用して大規模かつ低消費電力な神経系を実現するスケーラブルでフラクタル的な超伝導光エレクトロニクス神経ネットワーク（SOEN）の提案を行う。8100ニューロンのネットワークは1 cm²のダイに収容可能であり、100万ニューロンのシステムは300 mmウェーハに収容可能で、液体ヘリウム冷却に適した低電力密度を達成しており、最大10⁵ m²のシステムで100兆ニューロンにわたるコherentな発振が可能となる。

ABSTRACT

Networks of superconducting optoelectronic neurons are investigated for their near-term technological potential and long-term physical limitations. Networks with short average path length, high clustering coefficient, and power-law degree distribution are designed using a growth model that assigns connections between new and existing nodes based on spatial distance as well as degree of existing nodes. The network construction algorithm is scalable to arbitrary levels of network hierarchy and achieves systems with fractal spatial properties and efficient wiring. By modeling the physical size of superconducting optoelectronic neurons, we calculate the area of these networks. A system with 8100 neurons and 330,430 total synapses will fit on a 1\,cm $ imes$ 1\,cm die. Systems of millions of neurons with hundreds of millions of synapses will fit on a 300\,mm wafer. For multi-wafer assemblies, communication at light speed enables a neuronal pool the size of a large data center comprising 100 trillion neurons with coherent oscillations at 1\,MHz. Assuming a power law frequency distribution, as is necessary for self-organized criticality, we calculate the power consumption of the networks. We find the use of single photons for communication and superconducting circuits for computation leads to power density low enough to be cooled by liquid $^4$He for networks of any scale.

研究の動機と目的

• 超伝導光エレクトロニクスニューロン（SOEN）を用いて、局所的処理とグローバル統合の両立を図るスケーラブルで階層的な神経ネットワークアーキテクチャを設計すること。
• 従来のリソグラフィーと1 cm²ダイおよび300 mmウェーハとの互換性を確保することで、物理的実現可能性を保証すること。
• 情報統合の効率を高めるために、ハブノード（数千～数万のシナプス）を有する高い接続性を達成すること。
• トランジスタ数が1兆を超える大規模システムへの長期的スケーラビリティと、広大な領域にわたるコherentなダイナミクスの評価を行うこと。
• 液体ヘリウムによる冷却に十分な低電力密度を維持できることを示し、普遍的なスケーラビリティを実現すること。

提案手法

• ネットワーク成長モデルは、空間的近接性とノード次数に基づいて接続を割り当て、短いパス長、高いクラスタリング、スケールフリーな次数分布を有するネットワークを生成する。
• モデルはフラクタルな空間的性質と効率的な配線を保証し、単一ダイからマルチウェーハシステムまでスケーラブルである。
• 物理的ニューロンサイズをモデル化して全ネットワーク面積を計算し、1 cm²ダイで8100ニューロンと330,430シナプスをサポート可能であることを示す。
• 消費電力はスケールフリーな次数分布（p(k) ∝ k⁻ᵞ）と周波数分布（p(f) ∝ f⁻ᵐ）を用いてモデル化され、1発火あたりのエネルギーはE(k) = E₀kで表される。
• 光子とフラクションエネルギーの寄与を分離・分析し、効率を最適化する。E₀k = (ζhν/η + χn_fq I_c Φ₀)k で表される。
• 全ネットワーク電力は次数および周波数分布の積分により計算され、P_N = N_tot ∫∫ P_n(k,f) p(k)p(f) df dk で表され、電力密度はP_N / A_Nで与えられる。

実験結果

リサーチクエスチョン

• RQ1 超伝導光エレクトロニクスニューロンは、フラクタルな空間的性質と効率的な配線を持つスケーラブルで階層的なネットワークに整理可能か？
• RQ2 ニューロンサイズと光速の物理的制約を考慮した場合、1 cm²ダイおよび300 mmウェーハに物理的に実現可能な最大ネットワークサイズは何か？
• RQ3 あらゆる規模のネットワークにおいて、液体ヘリウム冷却に適した低電力密度を維持できるか。これにより1 MHzのコherentな発振が可能になるか？
• RQ4 スケールフリーな次数分布および周波数分布が、ネットワークの消費電力とスケーラビリティに与える影響は何か？
• RQ5 シナプスおよびニューロンの発火イベントのエネルギー効率は何か。また、デバイスパラメータを最適化することで効率を向上させられるか？

主な発見

• 1 cm²のダイには8100ニューロンと330,430シナプスを収容可能で、全面積は約1 cm²である。
• 300 mmウェーハには100万ニューロンのネットワークが収容可能で、設計の物理的制約に収まっている。
• マルチウェーハアセンブリにより、10⁵ m²の領域に100兆ニューロンのニューロンプを実現可能であり、光速通信により1 MHzのコherentな発振が可能となる。
• 8100ニューロンではネットワーク消費電力が2 mW、100万ニューロンでは2 Wであり、γ = 1.4およびμ = 2を仮定した場合の結果である。
• ネットワークサイズが増加するに従い、面積の減少（k⁻¹.⁴）が電力の減少（k⁻¹.⁰）より遅いため、電力密度は低下し、普遍的なスケーラビリティが実現可能となる。
• 周波数分布にμ = 2を適用すると1/fスペクトルが得られ、自己組織的臨界性と一致し、生物学的皮質ネットワークで観察されたものと一致する。