[논문 리뷰] Quantum-limited stochastic optical neural networks operating at a few quanta per activation

Shi-Yuan Ma, Tianyu Wang외 3명|arXiv (Cornell University)|2023. 07. 28.

Neural Networks and Reservoir Computing인용 수 6

한 줄 요약

이 논문은 학습 알고리즘의 일부로 확률적 광검출 과정을 훈련시킴으로써, 활성화당 몇 개의 광자만으로도 고정밀도 이미지 분류를 달성할 수 있음을 보여준다—MAC 연산당 최소 0.008개의 광자까지 가능하다. 양자 노이즈로 인해 신호 대 잡음비가 약 1에 가까운 상황에서도, 물리학에 기반한 확률적 훈련을 통해 단일 광자 검출을 네트워크 운영의 본질적 요소로 모델링함으로써 98%의 MNIST 테스트 정확도를 달성하였다.

ABSTRACT

Energy efficiency in computation is ultimately limited by noise, with quantum limits setting the fundamental noise floor. Analog physical neural networks hold promise for improved energy efficiency compared to digital electronic neural networks. However, they are typically operated in a relatively high-power regime so that the signal-to-noise ratio (SNR) is large, and the noise can be treated as a perturbation. We study optical neural networks where all layers except the last are operated in the limit that each neuron can be activated by just a single photon, and as a result the noise on neuron activations is no longer merely perturbative. We show that by using a physics-based probabilistic model of the neuron activations in training, it is possible to perform accurate machine-learning inference in spite of the extremely high shot noise (SNR ~ 1). We experimentally demonstrated MNIST handwritten-digit classification with a test accuracy of 98% using an optical neural network with a hidden layer operating in the single-photon regime; the optical energy used to perform the classification corresponds to just 0.038 photons per multiply-accumulate (MAC) operation. Our physics-aware stochastic training approach might also prove useful with non-optical ultra-low-power hardware.

연구 동기 및 목표

• 단일 광자 검출로 인해 신호 대 잡음비가 약 1에 가까운 초저전력 영역에서 작동할 때도 아날로그 광학 신경망이 높은 정확도를 유지할 수 있는지 조사하기 위해.
• 광검출의 극도로 높은 확률적 특성에 도전하기 위해, 양자 노이즈를 네트워크 계산의 일부로 명시적으로 모델링하는 훈련 프레임워크를 개발하기 위해.
• 각 뉴런 활성화에 몇 개의 양자만 사용되더라도, 사운드 노이즈가 지배하는 광학 시스템을 통해 결정론적 분류 작업을 신뢰성 있게 수행할 수 있는지 보여주기 위해.
• 소프트웨어와 물리학에 기반한 훈련을 물리적 노이즈 모델과 함께 공동 설계하여, 노이즈를 외란으로 보는 대신 에너지 효율적인 AI 하드웨어의 새로운 패러다임을 구축하기 위해.

제안 방법

• 저자들은 각 뉴런의 활성화를 단일 광자 검출의 포아송 통계에 의해 지배되는 확률적 과정으로 모델링하는 스토케스틱 광검출 신경망(SPDTN)을 개발하였다.
• 그들은 확률적 광검출 과정의 미분 가능 근사치를 사용하여 네트워크를 훈련시었으며, 입력 강도와 검출 확률에 대한 기대 출력을 함수로 모델링함으로써 노이즈를 통해 역전파를 가능하게 하였다.
• 훈련 절차는 양자 노이즈 한계를 명시적으로 포함하며, 검출당 평균 광자 수를 전방 및 역방향 전파의 핵심 매개변수로 사용하였다.
• 네트워크는 은닉층 활성화에 단일 광자 검출기(SPDs)를 사용하는 물리적 광학 구조에 구현되었으며, 광신호는 고전적 코herent 상태로 인코딩되었다.
• 시스템은 광검출의 확률적 특성을 반영한 물리학에 기반한 손실 함수를 사용하여 MNIST에서 종단 간 훈련을 수행하였으며, 높은 노이즈에도 불구하고 수렴 가능했다.
• 실험적 검증은 단일 은닉층이 작동하는 자유공간 광학 구조를 사용하여 수행되었으며, 극도로 낮은 광학 에너지로 높은 정확도를 달성하였다.

Figure 1: Deterministic inference using noisy neural-network hardware. a , The concept of a stochastic physical neural network performing a classification task. Given a particular input image to classify, repetitions exhibits variation (represented by different traces of the same color), but the cla

실험 결과

연구 질문

• RQ1 MAC당 몇 개의 광자만 사용하는 경우, 광학 신경망이 양자 노이즈 제한 영역에서 높은 분류 정확도를 유지할 수 있는가?
• RQ2 광검출 과정이 본질적으로 확률적이며, 신호 대 잡음비가 약 1일 경우에도 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ3 훈련 과정에서 단일 광자 검출의 확률적 특성을 명시적으로 모델링하면, 하드웨어 수준의 노이즈가 존재하더라도 신뢰성 있는 결정론적 추론이 가능한가?
• RQ4 광학 신경망에서 고정밀도 추론을 달성하기 위해 필요한 MAC당 최소 광학 에너지는 얼마인가?

주요 결과

• 저자들은 은닉층이 단일 광자 영역에서 작동하는 광학 신경망을 사용하여 MNIST 수기 숫자 분류 작업에서 98%의 테스트 정확도를 달성하였다.
• 시스템은 MAC당 단지 0.008개의 광자를 사용하였으며, 이는 MAC당 0.003 attojoule의 광학 에너지에 해당한다. 이는 이전 최고 성능 저에너지 시연 대비 40배 이상 적은 광자를 사용한 것이다.
• 신호 대 잡음비가 약 1이었음에도 불구하고 높은 정확도를 유지하였으며, 이는 양자 노이즈가 적절히 훈련 과정에 모델링되면 신뢰할 수 있는 계산이 가능함을 보여주었다.
• 물리학에 기반한 훈련 방법은 단일 광자 검출의 확률적 행동을 효과적으로 포착하였으며, 극도로 높은 노이즈 환경에서도 효과적인 역전파와 수렴을 가능하게 하였다.
• 실험적 설정은 물리적 확률적 특성을 고려한 훈련 과정이 있으면, 양자 노이즈 한계에서 작동하는 광학 시스템에서도 결정론적 추론이 가능함을 확인하였다.

Figure 2: Single-photon-detection neural networks (SPDNNs): physics-aware stochastic training and inference . a , A single layer of an SPDNN, comprising an optical matrix-vector multiplier (optical MVM, in grey) and single-photon detectors (SPDs; in red), which perform stochastic nonlinear activatio