[논문 리뷰] End-to-end optical backpropagation for training neural networks.

Xianxin Guo, Thomas D. Barrett외 2명|arXiv (Cornell University)|2019. 12. 23.

Neural Networks and Reservoir Computing인용 수 6

한 줄 요약

이 논문은 포화 흡수와 펌프-프로브 기반 구조를 사용하여 전자기적 구성 요소 없이 전체적으로 광학적으로 신경망을 훈련할 수 있도록 하는 새로운 엔드 투 엔드 광학적 역전파 방법을 제안한다. 시뮬레이션 결과, 단지 수동 광학 소자와 현재 기술로 구현 가능한 광학적 두께를 사용하여도 최신 딥 러닝 모델 수준의 성능을 입증하였다.

ABSTRACT

Backpropagation through nonlinear neurons is an outstanding challenge to the field of optical neural networks and the major conceptual barrier to all-optical training schemes. Each neuron is required to exhibit a directionally dependent response to propagating optical signals, with the backwards response conditioned on the forward signal, which is highly non-trivial to implement optically. We propose a practical and surprisingly simple solution that uses saturable absorption to provide the network nonlinearity. We find that the backward propagating gradients required to train the network can be approximated in a pump-probe scheme that requires only passive optical elements. Simulations show that, with readily obtainable optical depths, our approach can achieve equivalent performance to state-of-the-art computational networks on image classification benchmarks, even in deep networks with multiple sequential gradient approximations. This scheme is compatible with leading optical neural network proposals and therefore provides a feasible path towards end-to-end optical training.

연구 동기 및 목표

• 광학 신경망에서 역전파에 필수적인 방향성과 기울기 조건부 광학 반응을 실현하는 데 있어 근본적인 과제를 해결하기 위해.
• 활성 장치나 복잡한 피드백 메커니즘을 사용하지 않고도 수동 광학 요소만으로 광학 신경망의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 기존 최첨단 광학 신경망 아키텍처와 호환되며 확장 가능한 솔루션을 개발하기 위해.
• 실용적인 광학적 두께로도 표준 벤치마크에서 계산 기반 딥 네트워크 수준의 훈련 성능를 달성할 수 있음을 입증하기 위해.

제안 방법

• 신경망의 비선형성을 제공하기 위해 포화 흡수를 활용하여 신경계산에 필수적인 강도 의존성 투과를 실현하기 위해.
• 역방향으로 전파되는 기울기를 펌프 빛과 프로브 빛을 조합하여 정현파형으로 조절하고 포화 흡수체를 이용해 근사화하는 펌프-프로브 구성 구현하기 위해.
• 모든 훈련 과정에서 전면 광학 동작을 유지하기 위해 활성 피드백이나 전자 제어를 사용하지 않고 수동 광학 소자만 사용하기 위해.
• 포화 매질의 강도 의존성 흡수 특성을 활용하여 전방 신호에 따라 후방 응답을 조건화하기 위해.
• 도함수의 명시적 계산 없이 간섭과 강도 변조를 통해 펌프-프로브 설정에서 역전파 기울기를 근사화하기 위해.
• 기존 광학 신경망 아키텍처와 호환되도록 설계하여 현재 하드웨어 제안 사례에 쉽게 통합 가능하도록 하기 위해.

실험 결과

연구 질문

• RQ1 수동적이고 전면 광학적인 시스템이 비선형 광학 뉴런을 통해 기울기의 역전파를 근사화할 수 있는가?
• RQ2 포화 흡수 기술이 하나의 광학 메커니즘으로 비선형성과 기울기 근사화를 모두 충족시킬 수 있는가?
• RQ3 펌프-프로브 기법이 이미지 분류 작업에서 디지털 딥 러닝 모델 수준의 훈련 성능를 달성할 수 있는가?
• RQ4 깊은 아키텍처에서 효과적인 기울기 근사화와 네트워크 수렴을 달성하기 위해 필요한 광학적 두께는 어느 정도인가?
• RQ5 제안된 방법이 최첨단 광학 신경망 하드웨어 설계와 호환되는가?

주요 결과

• 제안된 광학적 역전파 기법은 최신 딥 러닝 모델 수준의 성능을 보이며 이미지 분류 벤치마크에서 성공적으로 작동한다.
• 이 방법은 오직 수동 광학 소자에 의존하므로 현재 광학 기술로도 실현 가능하다.
• 쉽게 확보할 수 있는 광학적 두께만으로도 정확한 기울기 근사화와 네트워크 훈련을 지원하는 데 충분하다.
• 다중 순차적 기울기 근사화를 포함한 깊은 네트워크에서도 효과적이며, 오차 누적에 대한 강건성을 보여준다.
• 포화 흡수를 활용함으로써 하나의 물리적 메커니즘에서 비선형성과 기울기 조건화를 동시에 실현할 수 있어 광학 아키텍처를 단순화한다.
• 펌프-프로브 기법은 활성 피드백이나 전자적 간섭 없이도 후방 기울기를 실용적으로 근사화한다.