[논문 리뷰] All-optical ultrafast ReLU function for energy-efficient nanophotonic deep learning

Gordon H. Y. Li, Ryoto Sekine외 5명|arXiv (Cornell University)|2022. 01. 11.

Photonic and Optical Devices인용 수 7

한 줄 요약

이 논문은 주기적으로 전극 처리된 리튬니오브산나트륨(PPLN) 나노광학파이프를 사용하여, 처음으로 전면 광학적이고 초고속이며 에너지 효율적인 정류된 선형 단위(ReLU) 활성화 함수를 구현한다. 각 활성화에 대해 약 16 fJ의 에너지를 소비하고 약 75 fs의 반응 시간을 기록하여, 상태의 최고 수준인 에너지-시간 곱 1.2×10⁻²⁷ J·s를 달성하며, 완전히 광학 기반의 심층학습 시스템의 길을 열어 놓는다.

ABSTRACT

In recent years, the computational demands of deep learning applications have necessitated the introduction of energy-efficient hardware accelerators. Optical neural networks are a promising option; however, thus far they have been largely limited by the lack of energy-efficient nonlinear optical functions. Here, we experimentally demonstrate an all-optical Rectified Linear Unit (ReLU), which is the most widely used nonlinear activation function for deep learning, using a periodically-poled thin-film lithium niobate nanophotonic waveguide and achieve ultra-low energies in the regime of femtojoules per activation with near-instantaneous operation. Our results provide a clear and practical path towards truly all-optical, energy-efficient nanophotonic deep learning.

연구 동기 및 목표

• 광학 신경망에서의 핵심적 한계인 에너지 효율적이고 초고속인 전면 광학적 비선형 활성화 함수의 부재를 해결한다.
• 광학 시스템에서 속도와 에너지 오버헤드를 유발하는 전자적 구현 방식의 한계를 극복한다.
• 비선형 활성화를 광학 통합 회로에 직접 통합하기 위한 컴act하고 확장 가능하며 호환 가능한 솔루션을 개발한다.
• 완전히 전면 광학적이고 에너지 효율적인 나노광학 심층학습 시스템으로 향하는 실용적인 길을 제시한다.

제안 방법

• 입력 신호를 2ω 주파수에서 위상 상태(±π/2)로 인코딩하고, ω 주파수에서 고정 위상 보상을 설정한다.
• 주기적으로 전극 처리된 리튬니오브산나트륨(PPLN) 나노광학파이프를 활용하여 χ⁽²⁾ 비선형 과정을 실현한다: 양성 입력에 대해서는 제2 harmonic 생성(SHG)을, 음성 입력에 대해서는 열등한 광학적 양자 증폭(DOPA)을 적용한다.
• 위상 일치 조건을 활용하여, ω와 2ω 주파수 간의 에너지 이동 방향을 결정짓는 위상 관계 2ϕω − ϕ₂ω를 설정한다.
• 양성 입력에 대해 증폭된 2ω 출력을 루팅하고 음성 입력에 대해서는 억제함으로써, 실질적으로 음수 값을 0으로 설정함으로써 ReLU 기능을 실현한다.
• 정밀한 위상 제어를 갖춘 간섭 광 펄스를 사용하여, 광 영역에서 아날로그 활성화 값을 표현한다.
• 작은 파이프 플랫폼에서 비선형 광학 과정의 본질적 속도를 활용하여 초고속 작동을 달성한다.

실험 결과

연구 질문

• RQ1 피코줄 수준의 에너지 소비와 100 fs 이내의 반응 시간을 갖는 전면 광학적 ReLU 기능을 실제로 실현할 수 있는가?
• RQ2 PPLN 나노광학파이프가 실용적인 ReLU 작동을 위해 필요한 위상 일치와 비선형 효율을 달성할 수 있는가?
• RQ3 전면 광학적 ReLU의 에너지-시간 곱은 최신 디지털 전자기기와 비교해 어떻게 되는가?
• RQ4 전자적 오프로딩 없이도 기존의 광학 신경망 아키텍처에 장착될 수 있는가?
• RQ5 장치는 기존의 심층학습 모델과 광학 통합 플랫폼과 함께 확장 가능하고 호환 가능한가?

주요 결과

• 전면 광학적 ReLU는 각 활성화당 약 16 fJ의 에너지를 소비하여 광학 비선형 기능의 에너지 효율성에서 뚜렷한 향상을 이룬다.
• 장치는 약 75 fs의 반응 시간을 기록하여 전자적 대체물보다 훨씬 빠른 초고속 계산을 가능하게 한다.
• 1.2×10⁻²⁷ J·s의 에너지-시간 곱은 높은 활성화 에너지 비용에도 불구하고 최신 디지털 전자기기보다 3개의 주기만큼 뛰어나다.
• 수치 시뮬레이션 결과, 최적화된 위상 일치와 제작 오차 감소를 통해 피코줄 이하의 에너지 소비가 가능할 잠재력이 예측된다.
• 장치는 여러 종류의 ReLU 변형을 성공적으로 실현할 수 있으며, 기존의 선형 광학 연산과 광학 통합 회로에서 연결 가능하다.
• 박막 필름 리튬니오브산나트륨 기반의 고속 전기광학 모듈레이터와 온칩 광원과의 단일 구조 통합이 가능하여, 완전한 광학 신경망 아키텍처를 실현할 수 있다.