[논문 리뷰] Superconducting Optoelectronic Neurons V: Networks and Scaling

Jeffrey M. Shainline, Jeff Chiles외 4명|arXiv (Cornell University)|2018. 05. 04.

Neural dynamics and brain function참고 문헌 69인용 수 5

한 줄 요약

이 논문은 단일 광자 광학 인터커넥트와 초전도 회로를 활용하여 대규모, 저전력 신경 시스템을 가능하게 하는 스케일러블하고 프랙탈 같은 초전도 광전자 신경망(SOENs)을 제안한다. 1 cm² 디바이스에 8100개의 뉴런이 들어가며, 300 mm 웨이퍼에 백만 개의 뉴런 시스템이 수용 가능하며, 액체 헬륨 냉각에 적합한 낮은 전력 밀도를 확보하여 최대 10⁵ m²의 시스템에서 100조 개의 뉴런이 공명 진동을 이룰 수 있다.

ABSTRACT

Networks of superconducting optoelectronic neurons are investigated for their near-term technological potential and long-term physical limitations. Networks with short average path length, high clustering coefficient, and power-law degree distribution are designed using a growth model that assigns connections between new and existing nodes based on spatial distance as well as degree of existing nodes. The network construction algorithm is scalable to arbitrary levels of network hierarchy and achieves systems with fractal spatial properties and efficient wiring. By modeling the physical size of superconducting optoelectronic neurons, we calculate the area of these networks. A system with 8100 neurons and 330,430 total synapses will fit on a 1\,cm $ imes$ 1\,cm die. Systems of millions of neurons with hundreds of millions of synapses will fit on a 300\,mm wafer. For multi-wafer assemblies, communication at light speed enables a neuronal pool the size of a large data center comprising 100 trillion neurons with coherent oscillations at 1\,MHz. Assuming a power law frequency distribution, as is necessary for self-organized criticality, we calculate the power consumption of the networks. We find the use of single photons for communication and superconducting circuits for computation leads to power density low enough to be cooled by liquid $^4$He for networks of any scale.

연구 동기 및 목표

• 초전도 광전자 뉴런(SOENs)을 활용해 지역적 처리와 전역 통합을 균형 잡힌 계층적 신경망 아키텍처를 설계한다.
• 기존 리소그래피 기술과 1 cm² 디바이스 및 300 mm 웨이퍼 호환성을 통해 물리적 실현 가능성을 확보한다.
• 수천에서 수만 개의 시냅스를 가진 허브 노드를 통해 효율적인 정보 통합을 위한 고연결성 구조를 확보한다.
• 트리리온 수준의 뉴런과 대규모 영역에서의 공명 역학을 포함한 장기적 스케일러비리티를 평가한다.
• 액체 4He 냉각에 적합한 낮은 전력 밀도를 유지하여 보편적 스케일러비리티를 가능하게 한다.

제안 방법

• 네트워크 성장 모델은 공간적 근접성과 노드의 차수를 기반으로 연결을 할당하여 짧은 경로 길이, 높은 클러스터링 및 힘의 법칙 차수 분포를 가진 네트워크를 생성한다.
• 이 모델은 프랙탈 공간적 성질과 효율적인 배선 구조를 보장하며, 단일 디바이스에서 다중 웨이퍼 시스템까지 스케일 가능하다.
• 물리적 뉴런 크기를 모델링하여 총 네트워크 면적을 계산하며, 1 cm² 디바이스는 8100개의 뉴런과 330,430개의 시냅스를 수용할 수 있다.
• 전력 소모는 힘의 법칙 차수 분포(p(k) ∝ k⁻ᵞ)와 힘의 법칙 주파수 분포(p(f) ∝ f⁻ᵐ)를 사용하여 모델링하며, 화재 이벤트 당 에너지는 E(k) = E₀k로 정의된다.
• 광자 및 플럭스론 에너지 기여를 분리하여 분석하고 효율성을 최적화하며, E₀k = (ζhν/η + χn_fq I_c Φ₀)k로 표현된다.
• 총 네트워크 전력은 차수 및 주파수 분포에 대한 통합을 통해 계산되며, P_N = N_tot ∫∫ P_n(k,f) p(k)p(f) df dk로 표현되며, 전력 밀도는 P_N / A_N로 계산된다.

실험 결과

연구 질문

• RQ1 초전도 광전자 뉴런은 프랙탈 공간적 성질과 효율적인 배선을 갖춘 스케일러블하고 계층적인 네트워크로 구성될 수 있는가?
• RQ2 뉴런 크기와 빛의 속도에 따른 물리적 제약 조건을 고려할 때, 1 cm² 디바이스와 300 mm 웨이퍼에 물리적으로 실현 가능한 네트워크의 최대 크기는 얼마인가?
• RQ3 어떤 규모의 네트워크에서도 액체 4He 냉각에 적합한 낮은 전력 밀도를 유지할 수 있으며, 이는 1 MHz 공명 진동을 가능하게 하는가?
• RQ4 힘의 법칙 차수 및 주파수 분포는 네트워크 전력 소모와 스케일러비리티에 어떤 영향을 미치는가?
• RQ5 시냅스 및 뉴런 화재 이벤트의 에너지 효율은 얼마이며, 장치 파라미터를 통해 어떻게 최적화할 수 있는가?

주요 결과

• 1 cm² 디바이스는 8100개의 뉴런과 330,430개의 시냅스를 수용할 수 있으며, 총 면적은 약 1 cm²이다.
• 300 mm 웨이퍼는 100만 개의 뉴런과 1억 개의 시냅스를 수용하는 네트워크를 수용할 수 있으며, 설계의 물리적 제약 조건을 충족한다.
• 다중 웨이퍼 조립은 10⁵ m² 영역에 100조 개의 뉴런을 수용할 수 있으며, 빛의 속도 통신 덕분에 1 MHz 공명 진동이 가능하다.
• 8100개의 뉴런에 대해 네트워크 전력 소모는 2 mW, 100만 개의 뉴런에 대해 2 W이며, 이는 γ = 1.4 및 μ = 2를 가정할 때의 결과이다.
• 네트워크 크가 증가함에 따라 면적의 감쇠 속도(k⁻¹.⁴)가 전력 감쇠 속도(k⁻¹.⁰)보다 느리므로 전력 밀도가 감소하여 보편적 스케일러비리티가 가능하다.
• μ = 2인 힘의 법칙 주파수 분포는 1/f 전력 스펙트럼을 생성하며, 자가 조직된 임계성과 생물학적皮질 네트워크에서 관찰된 바와 일치한다.