[논문 리뷰] Nonlinear Optical Joint Transform Correlator for Low Latency Convolution Operations

Jonathan George, Maria Solyanik‐Gorgone외 3명|arXiv (Cornell University)|2022. 02. 14.

Optical Network Technologies인용 수 6

한 줄 요약

이 논문은 4f 광학 시스템 내에서 전자적 변환 없이 직접적으로 작동하는 전면적 광학 비선형성—특히 4파면 혼합을 활용함으로써 근접 제로 지연(convolution) 연산을 가능하게 하는 비선형 광학 동시변환상관기(NL-JTC)를 제안한다. 이 방법은 계산 복잡도를 O(n⁴)에서 O(n²)로 감소시키며, 수백만 개의 채널에서 대량 병렬 처리를 실현하고, 에프니어제로(epsilon-near-zero) 효과를 통해 신호 대 잡음비(SNR)를 10³ 이상 향상시킨다.

ABSTRACT

Convolutions are one of the most relevant operations in artificial intelligence (AI) systems. High computational complexity scaling poses significant challenges, especially in fast-responding network-edge AI applications. Fortunately, the convolution theorem can be executed on-the-fly in the optical domain via a joint transform correlator (JTC) offering to fundamentally reduce the computational complexity. Nonetheless, the iterative two-step process of a classical JTC renders them unpractical. Here we introduce a novel implementation of an optical convolution-processor capable of near-zero latency by utilizing all-optical nonlinearity inside a JTC, thus minimizing electronic signal or conversion delay. Fundamentally we show how this nonlinear auto-correlator enables reducing the high $O(n^4)$ scaling complexity of processing two-dimensional data to only $O(n^2)$. Moreover, this optical JTC processes millions of channels in time-parallel, ideal for large-matrix machine learning tasks. Exemplary utilizing the nonlinear process of four-wave mixing, we show light processing performing a full convolution that is temporally limited only by geometric features of the lens and the nonlinear material's response time. We further discuss that the all-optical nonlinearity exhibits gain in excess of $>10^{3}$ when enhanced by slow-light effects such as epsilon-near-zero. Such novel implementation for a machine learning accelerator featuring low-latency and non-iterative massive data parallelism enabled by fundamental reduced complexity scaling bears significant promise for network-edge, and cloud AI systems.

연구 동기 및 목표

• 엣지 및 클라우드 AI 시스템에서의 고지연·고복잡도 복합 연산 문제를 해결하기 위해.
• 기존 동시변환상관기(JTC)의 반복적 이중단계 제한을 전면적 광학 비선형성으로 극복하기 위해.
• 실시간 기계학습 응용에 적합한 저지연·고대역폭 복합 처리를 실현하기 위해.
• 위상 오차, 기울기, 빔 폭과 같은 실용적 광학 시스템 파라미터 하에서 NL-JTC의 확장성과 내구성을 입증하기 위해.
• 미래의 소형·에너지 효율적인 AI 가속기 구현을 위한 칩 기반 광학 구성 요소 통합을 탐색하기 위해.

제안 방법

• 비선형 매질(예: Si₃N₄ 또는 ENZ 재료)을 포함한 4f 광학 구성으로, 푸리에 평면에서 전면적 광학 4파면 혼합을 수행한다.
• 입력 신호 h(x,y)와 g(x,y)가 위상 일치 상태에서 결합되고 렌즈 L₁를 통해 푸리에 변환되어 공간 주파수 스펙트럼을 생성한다.
• 푸리에 평면에서의 4파면 혼합을 통한 비선형 강도 임계 처리를 통해 전자 변환 없이 직접적이고 반복되지 않는 복합 연산을 구현한다.
• 출력 신호는 렌즈 L₂를 통해 전파되어 역푸리에 변환을 수행하여 실시간으로 전체 복합 연산 결과를 도출한다.
• 위상 오차, 변조 깊이, 빔 폭, 기울기 각도, 초점 거리 등의 다양한 파라미터 하에서 신호 대 잡음비(SNR) 및 시스템 성능을 시뮬레이션한다.
• 에프니어제로(ENZ) 재료의 저속 광학 효과를 활용하여 비선형 이득을 10³ 이상 향상시킨다.

실험 결과

연구 질문

• RQ1 JTC 아키텍처 내 전면적 광학 비선형성이 전자 변환 지연을 제거하고 근접 제로 지연 복합 연산을 가능하게 하는가?
• RQ2 제안된 NL-JTC가 2차원 복합 연산의 O(n⁴) 복잡도를 O(n²)로 얼마나 줄이는가?
• RQ3 위상 오차, 빔 폭, 기울기 각도와 같은 시스템 수준의 파라미터 변화가 SNR 및 출력 정밀도에 어떤 영향을 미치는가?
• RQ4 ENZ 재료 또는 필드 제한 비선형 구조의 사용이 광학 프로세서 내 비선형 이득을 크게 향상시키는가?
• RQ5 수백만 개의 채널에 걸쳐 병렬성과 확장성 면에서 이 시스템의 이론적 및 시뮬레이션 성능 한계는 어느 정도인가?

주요 결과

• 제안된 NL-JTC는 기존 JTC의 반복적 이중단계 처리 방식을 대체하여 단일 전면적 광학 비선형 작동을 통해 근접 제로 지연 복합 연산을 실현한다.
• 광학 푸리에 도메인 처리의 본질적 병렬성 덕분에 2차원 복합 연산의 계산 복잡도가 O(n⁴)에서 O(n²)로 감소된다.
• 시스템은 시간 병렬 방식으로 수백만 개의 채널을 처리하여 대규모 행렬 기반 기계학습 작업에 적합한 대량 공간 대역폭과 고처리량을 실현한다.
• 신호 대 잡음비(SNR)는 위상 오차와 빔 폭에 매우 민감하며, 중간 수준의 위상 오차와 넓은 캐리어 빔에서 최적 성능을 보인다.
• ENZ 재료에서의 4파면 혼합은 10³을 초월하는 비선형 이득을 제공하여 출력 대trast와 시스템 효율을 크게 향상시킨다.
• 초점 거리가 캐리어 빔 E₂의 크기가 100λ 이하가 아닐 경우에 한해 SNR에 미치는 영향이 미미하며, 일반적인 시스템 구성 조건 하에서도 높은 내구성을 보인다.