[논문 리뷰] Backpropagation through nonlinear units for all-optical training of neural networks

Xianxin Guo, Thomas D. Barrett외 2명|arXiv (Cornell University)|2019. 12. 23.

Neural Networks and Reservoir Computing참고 문헌 24인용 수 7

한 줄 요약

이 논문은 포화 흡수를 이용해 비선형 활성화를 구현하고, 펌프-프로브 구성으로 기울기 근사를 수행함으로써, 전적으로 광학적 구성 요소와 현실적인 광학적 깊이를 사용하여 신경망에 대한 실용적인 전방전파-역전파 방법을 제안한다. 시뮬레이션 결과, 깊은 구조에서도 디지털 네트워크와 동등한 성능을 보이며, 최신 기준 정확도를 달성한다.

ABSTRACT

Backpropagation through nonlinear neurons is an outstanding challenge to the field of optical neural networks and the major conceptual barrier to all-optical training schemes. Each neuron is required to exhibit a directionally dependent response to propagating optical signals, with the backwards response conditioned on the forward signal, which is highly non-trivial to implement optically. We propose a practical and surprisingly simple solution that uses saturable absorption to provide the network nonlinearity. We find that the backward propagating gradients required to train the network can be approximated in a pump-probe scheme that requires only passive optical elements. Simulations show that, with readily obtainable optical depths, our approach can achieve equivalent performance to state-of-the-art computational networks on image classification benchmarks, even in deep networks with multiple sequential gradient approximations. This scheme is compatible with leading optical neural network proposals and therefore provides a feasible path towards end-to-end optical training.

연구 동기 및 목표

• 모든 광학적 신경망에서 비선형 광학 뉴런을 통한 기울기 역전파의 근본적 과제를 해결하기 위해.
• 비선형 광학 요소의 방향성에 따라 달라지는 반응 문제를 해결함으로써 종단 간 광학 학습을 가능하게 하기 위해.
• 기존 광학 신경망 플랫폼과 호환되며, 오직 수동 광학 구성 요소만을 사용하는 방법을 개발하기 위해.
• 포화 흡수를 통한 기울기 근사가 디지털 역전파와 비교해 유사한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 역전파에 적합한 방향성 비대칭 반응을 자연스럽게 제공하는 포화 흡수를 광학적 비선형성으로 사용한다.
• 펌프-프로브 구성으로 후방 전파 기울기를 근사하며, 프로브 신호의 투과도가 전방 신호의 강도에 의존하도록 구성한다.
• 진짜 도함수 g'(z)와 유사도를 재량형 함수 f(z)를 사용해 활성화 함수의 도함수를 근사한다.
• 근사 오차를 제한하기 위해 코시-슈바르츠 부등식을 적용하여, 도함수 정확도가 떨어지는 상황에서도 안정적인 학습을 보장한다.
• 학습 중 뉴런 입력을 포화 흡수의 비선형 영역 내에서 정규 분포로 모델링한다.
• 배치 정규화와 입력 스케일링을 포함한 표준 최적화(Adam)를 사용하며, 광학적 깊이에 따라 입력 범위를 조정하여 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 광학 시스템에서 포화 흡수가 비선형 뉴런을 통한 역전파에 필요한 방향성 비대칭 반응을 제공할 수 있는가?
• RQ2 단일 광학 통과 동안 수동 펌프-프로브 구성으로 진짜 활성화 함수 도함수를 어느 정도 근사할 수 있는가?
• RQ3 이러한 근사 기울기를 사용한 전면 광학 학습이 표준 벤치마크에서 디지털 역전파와 유사한 성능을 달성할 수 있는가?
• RQ4 비선형 광학 신경망에서 도함수 근사 오차가 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 포화 흡수 비선형성을 사용한 컨볼루션 신경망은 MNIST에서 99.5±0.1%의 테스트 정확도를 달성하여, ReLU 활성화를 사용한 디지털 네트워크와 동등한 성능을 보였다.
• 포화 흡수로 학습된 완전 연결 네트워크는 MNIST에서 98.0±0.2%의 정확도를 기록하여, 교차 엔트로피 및 평균 제곱 오차 기준선과 유사한 성능을 보였다.
• 깊은 네트워크에서 다중 순차적 기울기 근사가 이루어져도 성능이 유지되어 오차 누적이 누적되는 데에도 강건함을 입증했다.
• 가중치 초기화에 민감하며, 특히 낮은 광학적 깊이에서는 특수한 초기화 전략(예: 이중 피크 분포)이 수렴을 위해 필요하다.
• 입력 강도를 더 높은 값(0–5 또는 0–15)으로 스케일링하면, 포화 흡수를 사용하는 깊은 컨볼루션 네트워크에서 수렴 속도가 향상된다.
• 코시-슈바르츠 부등식을 기반으로 한 유사도 측정을 통해 도함수 근사 오차가 제한되며, 이로 인해 도함수 추정의 불완전함에도 불구하고 안정적인 학습이 보장된다.