[논문 리뷰] Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks

Sunil Pai, Zhanghao Sun외 12명|arXiv (Cornell University)|2022. 05. 17.

Neural Networks and Reservoir Computing인용 수 10

한 줄 요약

이 논문은 가역 벡터-위상 변환 알고리즘을 통해 실시간 위상 및 진폭 제어를 가능하게 함으로써 나노광학 신경망에서 딥러닝을 위한 실험적으로 실현된 현장 내 역전파 프레임워크를 제시한다. 이 방법은 기저가 되는 하드웨어 호환 위상 업데이트 규칙을 갖는 미분 가능성을 확보하여 광학 네트워크의 엔드 투 엔드 훈련을 실현하며, 개념 증명용 나노광학 구조에서 높은 정확도로 현장 내 역전파를 구현함을 보여준다.

ABSTRACT

Neural networks are widely deployed models across many scientific disciplines and commercial endeavors ranging from edge computing and sensing to large-scale signal processing in data centers. The most efficient and well-entrenched method to train such networks is backpropagation, or reverse-mode automatic differentiation. To counter an exponentially increasing energy budget in the artificial intelligence sector, there has been recent interest in analog implementations of neural networks, specifically nanophotonic neural networks for which no analog backpropagation demonstration exists. We design mass-manufacturable silicon photonic neural networks that alternately cascade our custom designed "photonic mesh" accelerator with digitally implemented nonlinearities. These reconfigurable photonic meshes program computationally intensive arbitrary matrix multiplication by setting physical voltages that tune the interference of optically encoded input data propagating through integrated Mach-Zehnder interferometer networks. Here, using our packaged photonic chip, we demonstrate in situ backpropagation for the first time to solve classification tasks and evaluate a new protocol to keep the entire gradient measurement and update of physical device voltages in the analog domain, improving on past theoretical proposals. Our method is made possible by introducing three changes to typical photonic meshes: (1) measurements at optical "grating tap" monitors, (2) bidirectional optical signal propagation automated by fiber switch, and (3) universal generation and readout of optical amplitude and phase. After training, our classification achieves accuracies similar to digital equivalents even in presence of systematic error. Our findings suggest a new training paradigm for photonics-accelerated artificial intelligence based entirely on a physical analog of the popular backpropagation technique.

연구 동기 및 목표

• 단순 위상 및 진폭 제어만을 사용하여 비가역적 광학 구성 요소의 비미분 가능성 문제를 해결함으로써 나노광학 하드웨어 내에서 직접적으로 역전파 훈련을 가능하게 하기 위해.
• 실시간 최적화를 위한 복소수 벡터 상태에서 제어 가능한 위상 및 진폭 파rameter로의 가역적, 미분 가능한 변환을 개발하기 위해.
• 통합 광학 회로와 호환되는 위상 업데이트 규칙을 사용하여 현장 내 광학 신경망의 실험적 구현 가능 훈련을 보여주기 위해.
• 이론적 광학 역전파와 실질적 구현 간 격차를 해소하기 위해 실현 가능한 하드웨어 알고리즘을 제공하기 위해.

제안 방법

• Vec2Phase 함수는 복소수 벡터 x ∈ CN 를 반복적 로테이션을 통해 위상 및 진폭 파rameter (ϕ, θ) 로 매핑한다. 이 과정에서 회전 행렬 T2(θm, ϕm) 가 사용된다.
• 각 반복 단계에서 두 성분 m 및 m+1 에서의 벡터를 로테이션하는 유니터리 변환이 적용되며, 이로써 m+1 번째 성분이 0이 되고 위상 및 진폭이 갱신된다.
• 위상 ϕm 은 곱 x1x2 의 허수부에서 유도되며, 진폭 θm 은 2arctan(|x1x2|) 을 통해 계산되어 정규화가 보장된다.
• 역방향 Phase2Vec 함수는 위상 및 진폭 파rameter 로부터 원래의 벡터를 재구성하여, 변환 과정을 통해 기울기 역전파가 가능하도록 한다.
• 이 알고리즘은 미분 가능하고 가역적으로 설계되어 위상 업데이트 과정을 거쳐 기울기 계산이 가능하도록 한다.
• 이 방법은 변환을 광학 네트워크의 훈련 루프에 통합함으로써 엔드 투 엔드 역전파를 가능하게 하며, 칩 내 구현에 적합하다.

실험 결과

연구 질문

• RQ1 단지 위상 및 진폭 제어만을 사용하여 외부 재구성 없이 나노광학 하드웨어 내에서 직접적으로 역전파를 적용할 수 있는가?
• RQ2 실시간 훈련을 위해 복소수 벡터 상태에서 제어 가능한 광학 파rameter 로의 가역적, 미분 가능한 매핑을 어떻게 구성할 수 있는가?
• RQ3 하드웨어 호환 위상 업데이트 규칙을 사용한 광학 신경망에서의 현장 내 훈련 가능성은 어떠한가?
• RQ4 제안된 알고리즘이 물리적 광학 시스템에서 반복 최적화 과정 동안 정확도와 안정성을 유지할 수 있는가?

주요 결과

• Vec2Phase 와 Phase2Vec 함수는 복소수 벡터 상태와 제어 가능한 위상 및 진폭 파rameter 간에 가역적이고 미분 가능한 매핑을 제공하여 광학 층을 통한 기울기 계산이 가능하다.
• 이 알고리즘은 통합 광학 회로와 호환되며, 나노광학 하드웨어에서 실현 가능한 위상 이동 및 분할기만을 사용한다.
• 이 방법은 훈련 루프에 변환을 통합함으로써 엔드 투 엔드 역전파를 지원하며, 실시간 파rameter 갱신이 가능하다.
• 이 변환은 정규화와 위상 일관성을 보장하여 최적화 과정 중 신경망 출력의 무결성을 유지한다.
• 이 방법은 기울기 역전파가 가능하고 하드웨어로 실행 가능한 위상 업데이트 규칙을 제공함으로써 현장 내 훈련을 가능하게 하여 광학 딥러닝 분야에서 주요 장벽을 극복한다.
• 개념 증명 구현은 완전히 미분 가능하고 가역적인 위상 변환을 사용하여 칩 내에서 직접적으로 광학 신경망을 훈련시킬 수 있음을 보여준다.