[논문 리뷰] Training neural networks with end-to-end optical backpropagation

James C. Spall, Xianxin Guo외 1명|arXiv (Cornell University)|2023. 08. 09.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 루비디움 증기 셀에서 포화 흡수체를 사용하여 신경망을 훈련하기 위한 최초의 완전한 엔드 투 엔드 광학적 역전파 프레임워크를 제시한다. 후행 신호가 펌프로 작용하고 역행 신호가 프로브로 작용하는 펌프-프로브 구성 방식을 활용함으로써, 비선형 활성화층을 통해 전적으로 광학적으로 기울기 계산이 가능해지며, 하드웨어 오버헤드를 최소화하면서도 시뮬레이션 훈련에 비해 뛰어난 성능을 달성한다.

ABSTRACT

Optics is an exciting route for the next generation of computing hardware for machine learning, promising several orders of magnitude enhancement in both computational speed and energy efficiency. However, to reach the full capacity of an optical neural network it is necessary that the computing not only for the inference, but also for the training be implemented optically. The primary algorithm for training a neural network is backpropagation, in which the calculation is performed in the order opposite to the information flow for inference. While straightforward in a digital computer, optical implementation of backpropagation has so far remained elusive, particularly because of the conflicting requirements for the optical element that implements the nonlinear activation function. In this work, we address this challenge for the first time with a surprisingly simple and generic scheme. Saturable absorbers are employed for the role of the activation units, and the required properties are achieved through a pump-probe process, in which the forward propagating signal acts as the pump and backward as the probe. Our approach is adaptable to various analog platforms, materials, and network structures, and it demonstrates the possibility of constructing neural networks entirely reliant on analog optical processes for both training and inference tasks.

연구 동기 및 목표

• 비선형 활성화 함수를 통해 완전히 광학적으로 역전파를 구현하는 데 오랫동안 지속된 과제를 해결하기 위해.
• 아날로그 광학 신경망 훈련 중 디지털 계산이나 옵토전자닉 변환을 제거하기 위해.
• 오직 광학적 구성 요소와 과정만을 사용하여 실시간으로 현장에서 훈련 가능한 광학 신경망을 가능하게 하기 위해.
• 광학적 역전파가 '현실 격차' 영향을 줄여 성능이 뛰어나지 않게 하여 전통적인 시뮬레이션 훈련을 능가할 수 있음을 입증하기 위해.
• 다양한 광학 플랫폼, 재료, 네트워크 아키텍처에 적용 가능한 일반적이고 유연한 프레임워크를 개발하기 위해.

제안 방법

• 후행 신호(펌프)가 원자 전이를 포화시키고 역행 신호(프로브)가 활성화 함수의 도함수를 측정하는 방식으로, 루비디움 증기 셀에서 펌프-프로브 과정을 활용한다.
• 비선형 활성화 단위로 포화 흡수체를 사용하며, 프로브 빔의 투과도가 펌프 강도에 의해 조절되어 활성화 함수의 도함수를 모방한다.
• 공간적 빛 조절 장치(SLM)와 원통형 렌즈를 사용하여 '산산각'과 '산산산산' 연산을 수행함으로써 선형층을 실현하는 광학적 행렬-벡터 곱셈(MVM)을 적용한다.
• 역행 전파를 동일한 광학적 구조를 통해 수행하며, DMD와 SLM을 사용해 전치된 가중치 행렬과 오차 역전파를 실현한다.
• 각 훈련 반복에서 세 번의 측정(펌프만, 프로브만, 둘 다)을 수행하여 형광과 잔류 프로브 투과도에서 배경 오프셋을 제거함으로써 정확한 기울기 추정을 보장한다.
• 고속 카메라를 사용한 협동 검출을 통해 활성화 및 오차 벡터를 측정하며, 이를 실시간으로 가중치 기울기 계산 및 SLM 업데이트에 활용한다.

Figure 1: Illustration of optical training. (a) Network architecture of the ONN used in this work, which consists of two fully-connected linear layers and a hidden layer. (b) Simplified experimental schematic of the ONN. Each linear layer performs optical MVM with a cylindrical lens and a spatial li

실험 결과

연구 질문

• RQ1 비선형 활성화 함수를 통해 디지털 간섭 없이 완전히 광학적으로 역전파를 수행할 수 있는가?
• RQ2 단일 광학 시스템이 역신호 전파를 통해 추론과 훈련을 모두 수행할 수 있는가?
• RQ3 전적으로 광학적인 역전파가 하드웨어 결함에 대한 내성과 정확도 측면에서 전통적인 시뮬레이션 훈련을 능가하는가?
• RQ4 포화 흡수체에서의 펌프-프로브 구성이 역전파 과정 중 비선형 활성화 함수의 도함수를 정확히 모의할 수 있는가?
• RQ5 제안된 방법이 다양한 광학 플랫폼, 재료, 신경망 아키텍처로 일반화 가능한가?

주요 결과

• 광학적 역전파 프레임워크는 루비디움 증기 셀에서의 포화 흡수를 활용하여 비선형 활성화층을 통해 기울기를 성공적으로 계산하였다.
• 배경 신호를 제거하기 위해 세 번의 측정을 통한 교정을 통해 형광과 잔류 프로브 투과도를 보상함으로써 정확한 기울기 추정이 가능했다.
• 전적으로 광학적으로 훈련된 네트워크는 기존의 시뮬레이션 훈련 방식에 비해 오차가 줄어들어 '현실 격차' 영향이 감소한 것으로 나타났다.
• 표준 구성 요소인 SLM, DMD, 단일 증기 셀만을 사용하여 최소한의 하드웨어 오버헤드로 전방 및 역방향 전파 모두를 수행할 수 있었다.
• 이 방법은 간섭형 또는 기타 선형층 실현 방식을 포함한 다양한 광학 플랫폼, 재료, 네트워크 구조에 일반적이고 적응 가능하다.
• 실험 결과는 엔드 투 엔드 광학적 훈련이 실현 가능하고 효과적임을 확인하였으며, 완전히 아날로그 광학 기계학습으로 향하는 데 중요한 단계를 마련했다.

Figure 2: Multi-layer ONN characterisation. (a) Scatter plots of measured against theory results for MVM-1 (first layer forwards), MVM-2a (second layer forwards) and MVM-2b (second layer backwards). All three MVM results are taken simultaneously. Histograms of the signal and noise error for each MVM