[논문 리뷰] Single chip photonic deep neural network with accelerated training

Saumil Bandyopadhyay, Alexander Sludds외 7명|arXiv (Cornell University)|2022. 08. 02.

Neural Networks and Reservoir Computing인용 수 58

한 줄 요약

단일 칩에서 현장 학습(in situ training)이 가능한 완전한 통합 코히어런트 광학 DNN을 시演하고, 모음 분류에서 92.7%의 테스트 정확도를 달성하며 나노초 단위 추론과 초저전력 연산을 가능하게 한다.

ABSTRACT

As deep neural networks (DNNs) revolutionize machine learning, energy consumption and throughput are emerging as fundamental limitations of CMOS electronics. This has motivated a search for new hardware architectures optimized for artificial intelligence, such as electronic systolic arrays, memristor crossbar arrays, and optical accelerators. Optical systems can perform linear matrix operations at exceptionally high rate and efficiency, motivating recent demonstrations of low latency linear algebra and optical energy consumption below a photon per multiply-accumulate operation. However, demonstrating systems that co-integrate both linear and nonlinear processing units in a single chip remains a central challenge. Here we introduce such a system in a scalable photonic integrated circuit (PIC), enabled by several key advances: (i) high-bandwidth and low-power programmable nonlinear optical function units (NOFUs); (ii) coherent matrix multiplication units (CMXUs); and (iii) in situ training with optical acceleration. We experimentally demonstrate this fully-integrated coherent optical neural network (FICONN) architecture for a 3-layer DNN comprising 12 NOFUs and three CMXUs operating in the telecom C-band. Using in situ training on a vowel classification task, the FICONN achieves 92.7% accuracy on a test set, which is identical to the accuracy obtained on a digital computer with the same number of weights. This work lends experimental evidence to theoretical proposals for in situ training, unlocking orders of magnitude improvements in the throughput of training data. Moreover, the FICONN opens the path to inference at nanosecond latency and femtojoule per operation energy efficiency.

연구 동기 및 목표

• CMOS의 딥러닝 에너지 및 처리량 한계를 동력으로 삼아 확장 가능한 포토닉 솔루션을 모색한다.
• 프로그래밍 가능한 비선형 광학 기능 단위(NOFU)와 코히어런트 행렬 곱셈 단위(CMXU)가 포함된 완전 통합 포토닉 회로를 제안한다.
• Direction derivatives를 이용한 하드웨어 상의 다층 광학 DNN의 현장 학습을 시演한다.
• 레이어 간 전기적 읽기 없이 광학 도메인에서의 추론이 가능함을 보이고 에너지/처리량을 평가한다.
• 칩 위의 실시간 학습 및 초저 지연 AI 하드웨어로의 경로를 제공한다.

제안 방법

• 세 가지 핵심 구성 요소를 개발한다: (i) 고대역폭 프로그래밍 가능 비선형 광학 기능 단위(NOFU); (ii) Mach-Zehnder 간섭기 메시를 이용해 구현한 코히어런트 행렬 곱셈 단위(CMXU); (iii) 하드웨어에서 파생을 계산하는 현장 학습 접근법으로 광학 가속 학습을 수행한다.
• NOFU와 CMXU를 단일 실리콘 포토닉 집적 회로에 통합하여 광학 영역에서 다층 DNN 연산을 코히어런트하게 수행한다.
• 모델 매개변수가 매개 공간의 임의 방향으로의 방향 도함수를 측정하여 업데이트하는 현장 학습 접근법을 사용하여 역전파 없이 그래디언트 하강형 최적화를 가능하게 한다.
• 출력장을 로컬 발진기와의 동위상 검파를 통해 동기화하는 통합 코히어런트 수신기를 사용하여 최종 광학 DNN 출력을 읽어낸다.
• 가중치를 132개의 칩온 매개변수로 16비트 정밀도에서 동일한 가중치를 가진 디지털 모델과 일치하는 모음 분류에서 92.7%의 테스트 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 완전히 통합된 코히어런트 광신경망이 단일 칩에서 추론과 현장 학습을 모두 수행할 수 있는가?
• RQ2 NOFU와 CMXU가 구현된 상용 실리콘 포토닉스 공정에서 광학 DNN의 달성 가능한 정확도와 에너지-처리량 지표는 어떠한가?
• RQ3 하드웨어에서 방향 도함수를 이용한 현장 학습이 다층 광학 네트워크에서 로컬 최소값으로 수렴하는가?
• RQ4 온칩 학습과 디지털 학습의 최종 정확도 및 학습 동역학은 어떤 차이가 있는가?

주요 결과

• 12개의 NOFU와 세 개의 CMXU를 갖춘 3층 FICONN이 통신 C-밴드에서 현장 학습을 시演하고 디지털 모델과 동일한 가중치를 사용해 92.7%의 테스트 정확도에 도달한다.
• CMXU는 Mach-Zehnder 간섭기 메쉬를 이용해 6×6 유니터리를 구현하며 FCC(고정밀도)에서 높은 충실도(평균 0.987 ± 0.007, 오차 보정 후)로 동작한다.
• NOFU는 pn-도핑된 포토다이오드를 통해 마이크로링 공진기의 디튠으로 프로그래밍 가능한 비선형 활성화를 가능하게 하여 약 30 fJ의 비선형 연산 에너지와 칩 외부 증폭기 필요성을 없앤다.
• 현장 학습은 매개 공간의 임의 방향으로의 방향 도함수를 계산하고, 최적 경로를 따라 가중치를 업데이트하여 평균적으로 최하강 방향으로 수렴하며 로컬 최소값에 수렴한다.
• 칩 전체 추론은 엔드 투 엔드 손실이 10 dB이며 각 구성 요소의 삽입 손실이 0.1 dB 미만으로, 모든 레이어에서 재증폭 없이 한 번의 샷 추론이 가능하다.