[논문 리뷰] ALL-OPTICAL NONLINEAR ACTIVATION FUNCTION FOR PHOTONIC NEURAL NETWORKS

Mario Miscuglio, Armin Mehrabian외 6명|arXiv (Cornell University)|2018. 01. 01.

Neural Networks and Reservoir Computing참고 문헌 17인용 수 32

한 줄 요약

이 논문은 금 나노로드-반도체 quantum dot 이방성 구조에서의 플라스몬-익시톤 Fano 공명과 C60 필름에서의 역포화 흡수를 이용한 두 가지 나노광학 플랫폼을 사용하여 광학 신경망을 위한 전적으로 광학적인 비선형 활성화 함수를 제안한다. 각각 3 dB 및 7 dB의 확산비를 달성하여, MNIST 숫자 분류에서 97% 및 거의 100%의 정확도를 달성하며, 피코초 이하의 지연 시간과 전자 또는 전기광학 대안보다 수십 개의 차수 높은 에너지 효율성을 갖춘 전적으로 광학적인 신경망의 잠재력을 입증한다.

ABSTRACT

With the recent successes of neural networks (NN) to perform machine-learning tasks, photonic-based NN designs may enable high throughput and low power neuromorphic compute paradigms since they bypass the parasitic charging of capacitive wires. Thus, engineering data-information processors capable of executing NN algorithms with high efficiency is of major importance for applications ranging from pattern recognition to classification. Our hypothesis is therefore, that if the time-limiting electro-optic conversion of current photonic NN designs could be postponed until the very end of the network, then the execution time of the photonic algorithm is simple the delay of the time-of-flight of photons through the NN, which is on the order of picoseconds for integrated photonics. Exploring such all-optical NN, in this work we discuss two independent approaches of implementing the optical perceptrons nonlinear activation function based on nanophotonic structures exhibiting i) induced transparency and ii) reverse saturated absorption. Our results show that the all-optical nonlinearity provides about 3 and 7 dB extinction ratio for the two systems considered, respectively, and classification accuracies of an exemplary MNIST task of 97% and near 100% are found, which rivals that of software based trained NNs, yet with ignored noise in the network. Together with a developed concept for an all-optical perceptron, these findings point to the possibility of realizing pure photonic NNs with potentially unmatched throughput and even energy consumption for next generation information processing hardware.

연구 동기 및 목표

• 광학 통합 회로에서 전적으로 광학적 연산을 가능하게 함으로써 전자 및 전기광학 신경망의 속도 및 에너지 효율성 한계를 극복하고자 한다.
• 전자 변환을 회피하는 진정한 전적으로 광학적 신경망(AONN)을 개발하여 RC 지연 및 고소비 전력의 인터커넥트를 제거하고자 한다.
• 나노광학 구조에서의 빛-물질 상호작용을 이용해 비선형 활성화 함수를 실현함으로써 고속·저전력 뉴로모픽 컴퓨팅을 가능하게 하고자 한다.
• 표준 벤치마크인 MNIST와 같은 표준에서 소프트웨어로 훈련된 신경망과 비교해도 성능이 유사한 전적으로 광학적 활성화 함수가 가능함을 입증하고자 한다.

제안 방법

• 유한차분시간영역(FDTD) 시뮬레이션을 사용하여 금 나노로드와 반도체 양자점(QD)으로 구성된 플라스모닉-익시톤 시스템에서 유도된 투명성의 빛-물질 상호작용을 모델링한다.
• 변동 메esh 정밀도를 갖춘 3D FDTD 솔버를 사용하여 다양한 입력 전력 조건에서 MNP/QD 시스템의 비선형 광학적 반응을 시뮬레이션한다.
• 운영자 고유의 FDTD-ADE 다물리카스 코드를 사용하여 C60 필름에서의 역포화 흡수(RSA)를 모델링하며, 전자 운동 및 비선형 흡수 동역학을 통합한다.
• 비선형 반응을 광학 통합 회로(PIC) 아키텍처에 통합하며, 활성화 함수는 10 µm 미만의 파장도 플랫폼에서 실현된다.
• TensorFlow를 사용하여 전적으로 광학적 퍼셉트론을 시뮬레이션하며, 시뮬레이션된 비선형 반응을 완전히 연결된 신경망의 활성화 함수로 사용한다.
• 물리적 구성 요소의 길이와 효과적 굴절률을 기반으로 네트워크 성능을 추정하며, 피코초 이하의 계산 지연과 10^16 MAC/J를 초월하는 에너지 효율성을 예측한다.

실험 결과

연구 질문

• RQ1 강한 빛-물질 상호작용를 갖는 나노광학 재료를 사용하여 통합 광학 회로에서 전적으로 광학적인 비선형 활성화 함수를 실현할 수 있는가?
• RQ2 플라스모닉-익시톤 이방성 구조에서 Fano 공명을 기반으로 한 활성화 함수의 실현 가능한 확산비와 변조 깊이는 얼마인가?
• RQ3 C60 필름에서의 역포화 흡수는 신경망 활성화를 위한 실용적이고 효율적인 전적으로 광학적인 비선형 반응을 제공할 수 있는가?
• RQ4 속도 및 에너지 효율성 측면에서 전적으로 광학적 신경망은 기존의 전자 또는 전기광학 신경망과 비교해 어떻게 성능을 내는가?
• RQ5 전적으로 광학적 활성화 함수는 표준 벤치마크인 MNIST와 같은 소프트웨어로 훈련된 신경망과 비교해도 분류 정확도가 유사한가?

주요 결과

• Fano 공명 기반 시스템은 비선형 광학 반응에서 3 dB의 확산비를 달성하여 전달 신호의 효과적인 변조를 가능하게 한다.
• C60 기반의 역포화 흡수 시스템은 7 dB의 확산비를 나타내며, 더 강한 비선형 변조 능력을 보여준다.
• 두 시스템 모두 전적으로 광학적 신경망 운영을 가능하게 하며, 추정된 계산 속도는 10^12 MAC/s이며, 광자 전이 시간에 의해 제한된다.
• 전적으로 광학적 신경망은 Fano 공명 기반 활성화 함수를 사용하여 MNIST 데이터셋에서 97%의 분류 정확도를 달성하였고, C60 기반 시스템을 사용하면 거의 100%의 정확도를 달성하였다.
• 제안된 AONN 아키텍처는 에너지 효율성이 10^16 MAC/J를 초월하는 것으로 추정되며, 현재의 GPU 및 전기광학 신경망을 수십 개의 차수 높게 뛰어넘는다.
• 결과적으로 전적으로 광학적 활성화 함수가 빛의 기본 속도 및 효율성 한계에서 작동하면서도 기존 소프트웨어로 훈련된 네트워크와 유사한 성능을 달성할 수 있음을 입증한다.