[논문 리뷰] Programming Nonlinear Propagation for Efficient Optical Learning Machines

İlker Oğuz, Jih-Liang Hsieh외 6명|arXiv (Cornell University)|2022. 08. 09.

Optical Network Technologies인용 수 4

한 줄 요약

이 논문은 다중모드 섬유를 통한 파면형 초단파 빛파동을 활용하여 제어된 비선형 광학적 전파를 유도함으로써 효율적인 계산을 위한 광학 신경망을 제안한다. 서브모델을 사용해 입력 파면을 최적화함으로써, 동등한 디지털 네트워크에 비해 디지털 파rameter를 97% 감소시키고 디지털 연산을 99% 감소시켜, 경쟁력 있는 정확도를 확보하면서도 부분적 또는 완전한 광학 학습이 가능한 매우 효율적인 구현을 가능하게 한다.

ABSTRACT

The ever-increasing demand for processing data with larger machine learning models requires more efficient hardware solutions due to limitations such as power dissipation and scalability. Optics is a promising contender for providing lower power computation since light propagation through a non-absorbing medium is a lossless operation. However, to carry out useful and efficient computations with light, generating and controlling nonlinearity optically is a necessity that is still elusive. Multimode fibers (MMF) have been shown that they can provide nonlinear effects with microwatts of average power while maintaining parallelism and low loss. In this work, we propose an optical neural network architecture, which performs nonlinear optical computation by controlling the propagation of ultrashort pulses in MMF by wavefront shaping. With a surrogate model, optimal sets of parameters are found to program this optical computer for different tasks with minimal utilization of an electronic computer. We show a remarkable decrease of 97% in the number of model parameters, which leads to an overall 99% digital operation reduction compared to an equivalently performing digital neural network. We further demonstrate that a fully optical implementation can also be performed with competitive accuracies.

연구 동기 및 목표

• 대규모 기계학습 모델을 위한 에너지 효율적인 하드웨어에 대한 증가하는 수요를 해결하기 위해.
• 실용적인 계산을 위해 저전력에서 광학 비선형성을 생성하고 제어하는 데 도전하는 데에.
• 초단파 빛파동을 활용해 다중모드 섬유의 고유한 비선형성을 이용해 효율적인 광학 추론을 실현하기 위해.
• 광학 비선형 처리를 통해 신경망에서 디지털 계산에 대한 의존도를 최소화하기 위해.
• 완전하거나 부분적으로 광학적으로 실현된 구현을 통해 경쟁력 있는 정확도를 달성하기 위해.

제안 방법

• 이 방법은 다중모드 섬유를 통과하는 초단파 광학 펄스의 파면을 제어하여 특정한 비선형 광학 반응을 유도한다.
• 서브모델을 학습시켜 특정 학습 작업을 위한 원하는 비선형 변환을 달성할 수 있는 최적의 파면 파aram터를 예측한다.
• 서브모델은 원하는 출력과 필요한 입력 파면 간의 맵핑을 학습함으로써 반복적인 디지털 최적화의 필요성을 줄인다.
• 저전력(마이크로와트 수준) 펄스에 의해 유도되는 자기위상변조 및 교차위상변조를 통해 광학 시스템이 비선형 활성화 함수를 수행한다.
• 서브모델을 통해 역전파를 통한 엔드 투 엔드 학습이 이루어지며, 디지털 계산의 최소화가 이루어진다.
• 하이브리드 광학-디지털 추론과 완전한 광학 추론을 모두 지원하며, 경쟁력 있는 성능을 제공한다.

실험 결과

연구 질문

• RQ1 다중모드 섬유에서의 비선형 광학 전파가 효율적이고 작업에 특화된 계산을 수행할 수 있는가?
• RQ2 파면 조절이 기계학습 작업을 위한 다중모드 섬유의 비선형 반응을 어느 정도 제어할 수 있는가?
• RQ3 비선형 연산을 광학 영역으로 이동시킴으로써 신경망에서 디지털 계산을 얼마나 줄일 수 있는가?
• RQ4 완전한 광학 구현이 디지털 등가물에 비해 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ5 광학 복잡도와 디지털 연산 감소 사이의 상호 상충 관계는 어떻게 되는가?

주요 결과

• 동등한 디지털 신경망에 비해 모델 파aram터 수를 97% 감소시켰다.
• 광학 비선형 계산의 지배적 영향으로 인해 총 디지털 연산 수가 99% 감소했다.
• 기준 작업에서 경쟁력 있는 분류 정확도를 달성하여 광학 학습의 실현 가능성을 입증했다.
• 디지털 네트워크와 비교해 유사한 성능을 보이는 완전한 광학 구현이 성공적으로 구현되었으며, 전면 광학 추론의 잠재력을 검증했다.
• 서브모델은 파면 최적화를 효율적으로 가능하게 하여 반복적인 디지털 훈련에 대한 의존도를 감소시켰다.
• 마이크로와트 수준의 평균 전력에서 다중모드 섬유의 비선형 효과를 활용하여 저에너지 동작이 가능해졌다.