[논문 리뷰] RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement

Ronald Davis, Zaijun Chen외 2명|arXiv (Cornell University)|2022. 07. 08.

Neural Networks and Reservoir Computing인용 수 6

한 줄 요약

이 논문은 광학 주파수 도메인에 데이터를 인코딩하여 한 번의 연산으로 행렬-벡터 곱셈을 수행하고, 단일 전기광학 변조기를 통해 비선형 활성화를 적용하는 광학 딥러닝 프로세서 MAFT-ONN을 제안한다. 이는 빛의 속도에 가까운 지연 시간과 대역폭에 제한된 처리량을 달성하여, 음성 및 RF 신호와 같은 시간적 파형의 실시간 추론을 가능하게 하며, 상용 부품을 사용한 확장 가능하고 저복잡도의 하드웨어 설계를 실현한다.

ABSTRACT

Edholm's Law predicts exponential growth in data rate and spectrum bandwidth for communications and is forecasted to remain true for the upcoming deployment of 6G. Compounding this issue is the exponentially increasing demand for deep neural network (DNN) compute, including DNNs for signal processing. However, the slowing of Moore's Law due to the limitations of transistor-based electronics means that completely new paradigms for computing will be required to meet these increasing demands for advanced communications. Optical neural networks (ONNs) are promising DNN accelerators with ultra-low latency and energy consumption. Yet state-of-the-art ONNs struggle with scalability and implementing linear with in-line nonlinear operations. Here we introduce our multiplicative analog frequency transform ONN (MAFT-ONN) that encodes the data in the frequency domain, achieves matrix-vector products in a single shot using photoelectric multiplication, and uses a single electro-optic modulator for the nonlinear activation of all neurons in each layer. We experimentally demonstrate the first hardware accelerator that computes fully-analog deep learning on raw RF signals, performing single-shot modulation classification with 85% accuracy, where a 'majority vote' multi-measurement scheme can boost the accuracy to 95% within 5 consecutive measurements. In addition, we demonstrate frequency-domain finite impulse response (FIR) linear-time-invariant (LTI) operations, enabling a powerful combination of traditional and AI signal processing. We also demonstrate the scalability of our architecture by computing nearly 4 million fully-analog multiplies-and-accumulates for MNIST digit classification. Our latency estimation model shows that due to the Shannon capacity-limited analog data movement, MAFT-ONN is hundreds of times faster than traditional RF receivers operating at their theoretical peak performance.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN) 추론에서 바이오니만 브로드백 문제를 해결하기 위해 광학 하드웨어 가속을 통해 데이터 이동을 최소화한다.
• 선형 행렬 연산과 비선형 활성화를 하나의 광학 플랫폼에서 효율적으로 통합하는 확장 가능한 완전 아날로그 광학 신경망을 개발한다.
• 빛의 속도와 광학 대역폭을 활용하여 아날로그 시간 파형—예를 들어 음성 및 고주파 신호—의 실시간 추론을 가능하게 한다.
• 단지 상용으로 유통되는 부품만을 사용하여 실용적이고 저복잡도의 DNN 가속기를 구현하여 접근성과 확장성을 확보한다.
• 광학 대역폭과 신호 대 잡음비의 물리적 한계에 도달함으로써 샤논 한계에 가까운 데이터 이동을 달성한다.

제안 방법

• 데이터와 가중치는 광학 주파수 모드의 진폭과 위상을 통해 인코딩되어 다중 주파수 채널을 통해 병렬 계산이 가능하다.
• 사용자가 입력 신호를 가중치가 조절된 광신호와 함께 일관적으로 결합하는 광전기 곱셈을 통해 한 번의 연산으로 행렬-벡터 곱셈을 수행한다.
• 모든 뉴런의 비선형 활성화는 단일 이중평행 맥주저-지하드 변조기(DPMZM)를 통해 실현되며, 이는 라인상에서 비선형 전달 함수를 적용한다.
• MZM의 비선형 반응를 모델링하고 정확한 오프라인 훈련을 가능하게 하기 위해 이산余弦변환(DCT) 기반의 주파수 도메인 인코딩 방식을 사용한다.
• '루프' 아키텍처 변형은 광섬유 지연선을 사용해 중간 결과를 저장하여 단일 세트의 변조기로도 임의의 레이어 깊이를 지원하며 하드웨어 복잡도를 감소시킨다.
• 전체 시스템은 레이저 다이오드, DPMZM, RF 신호 발생기 등 상용 부품을 사용해 실험적으로 검증되었으며, 디지털-아날로그 및 아날로그-디지털 변환을 통해 디지털 데이터와 인터페이스를 구현한다.

실험 결과

연구 질문

• RQ1 빛의 속도에 가까운 지연 시간으로 음성 및 RF 파형과 같은 시간적 아날로그 신호의 실시간 추론을 광학 DNN이 달성할 수 있는가?
• RQ2 단일 전기광학 변조기가 모든 뉴런의 비선형 활성화를 수행하면서도 높은 정확도와 확장성을 유지를 할 수 있는가?
• RQ3 주파수 도메인 인코딩과 광전기 곱셈을 통해 최소한의 하드웨어 오버헤드로 단일 스탑 행렬-벡터 곱셈을 구현할 수 있는가?
• RQ4 시스템은 양자 잡음 한계 내에서 작동하면서도 대역폭에 제한된 처리량을 달성하고 데이터 이동을 최소화할 수 있는가?
• RQ5 단지 상용으로 유통되는 부품만을 사용해 확장 가능하고 저복잡도의 DNN 가속기를 실현할 수 있는가?

주요 결과

• MAFT-ONN 프로세서는 상용 부품로 조립된 하드웨어 설계를 통해 3층 DNN을 사용해 MNIST 이미지의 실시간 추론을 달성했다.
• 시스템은 빛의 속도에 가까운 지연 시간을 보였으며, 이는 광신호의 왕복 시간이 최소 처리 지연을 결정함을 의미한다.
• 처리량은 광학 대역폭과 신호 대 잡음비에 의해 제한되었으며, 샤논 한계에 가까운 데이터 이동을 달성했다.
• 비선형 활성화는 단일 DPMZM을 통해 성공적으로 구현되었으며, 변조기의 비선형성을 DCT 기반 근사로 모델링하여 정확한 오프라인 훈련을 가능하게 하였다.
• 실험적 설정은 약 27 dBm의 비선형 임계값에서 작동했으며, 이는 표준 레이저 출력으로도 구현 가능하며, 저-Vπ 변조기를 사용하면 -47 dBm까지 낮출 수 있어 저전력 입력 신호에서도 작동이 가능하다.
• '루프' 아키텍처 변형은 단일 세트의 변조기를 사용해 임의의 DNN 깊이를 지원함으로써 깊은 신경망의 하드웨어 복잡도와 전력 소모를 감소시켰다.