[논문 리뷰] Monolithic Silicon Photonic Architecture for Training Deep Neural Networks with Direct Feedback Alignment

Matthew J. Filipovich, Zhimu Guo외 7명|arXiv (Cornell University)|2021. 11. 12.

Neural Networks and Reservoir Computing참고 문헌 40인용 수 4

한 줄 요약

이 논문은 직접 피드백 정렬을 사용하여 칩 내에서 딥 네ural 네트워크를 훈련하기 위한 통합형 실리콘 포토닉 아키텍처를 제안한다. 이는 초당 트리리언(MAC) 연산을 수행하며, 에너지 효율성이 피코줄 이하이다. 시스템은 백프로파게이션 동안 병렬로 실시간으로 기울기 계산을 수행하기 위해 마이크로링 레조너레이터 어레이를 사용하며, 실험적으로 포토닉 MAC 연산을 사용하여 MNIST에서의 훈련을 성공적으로 구현하였다.

ABSTRACT

The field of artificial intelligence (AI) has witnessed tremendous growth in recent years, however some of the most pressing challenges for the continued development of AI systems are the fundamental bandwidth, energy efficiency, and speed limitations faced by electronic computer architectures. There has been growing interest in using photonic processors for performing neural network inference operations, however these networks are currently trained using standard digital electronics. Here, we propose on-chip training of neural networks enabled by a CMOS-compatible silicon photonic architecture to harness the potential for massively parallel, efficient, and fast data operations. Our scheme employs the direct feedback alignment training algorithm, which trains neural networks using error feedback rather than error backpropagation, and can operate at speeds of trillions of multiply-accumulate (MAC) operations per second while consuming less than one picojoule per MAC operation. The photonic architecture exploits parallelized matrix-vector multiplications using arrays of microring resonators for processing multi-channel analog signals along single waveguide buses to calculate the gradient vector of each neural network layer in situ, which is the most computationally expensive operation performed during the backward pass. We also experimentally demonstrate training a deep neural network with the MNIST dataset using on-chip MAC operation results. Our novel approach for efficient, ultra-fast neural network training showcases photonics as a promising platform for executing AI applications.

연구 동기 및 목표

• 전자 아키텍처의 한계로 인한 에너지 효율적이고 고속인 AI 하드웨어에 대한 수요 증가를 해결하기 위해.
• 전자 훈련의 병목 현상을 극복하기 위해 칩 내에서 신경망 훈련을 위한 포토닉 처리를 통합함으로써.
• 백프로파게이션 중 병렬화된 포토닉 MAC 연산을 활용해 실시간·실시간 기울기 계산을 가능하게 하기 위해.
• 디지털 전자기기 의존도를 최소화하면서도 오직 포토닉 하드웨어만을 사용해 딥 네ural 네트워크의 훈련 가능성을 입증하기 위해.

제안 방법

• 마이크로링 레조너레이터 어레이를 사용하여 대량 병렬 아날로그 행렬-벡터 곱셈을 실현하는 CMOS 호환성 있는 실리콘 포토닉 플랫폼을 활용한다.
• 다중 채널 아날로그 신호를 전송하기 위해 단일 웨이브가이드 버스를 사용하여 포토닉 프로세서 간 효율적인 상호연결을 가능하게 한다.
• 오차 기울기의 역전파를 하지 않고 오차 피드백을 계산하는 직접 피드백 정렬 알고리즘을 구현한다.
• 각 신경망 레이어에 대해 포토닉 구성 요소를 사용해 실시간 기울기 벡터 계산을 수행함으로써 계산 지연을 감소시킨다.
• 동일한 하드웨어를 사용해 네트워크의 전방 및 역방향 전파를 모두 지원하도록 포토닉 아키텍처를 통합한다.
• 실리콘 포토닉스의 고대역폭 및 저에너지 소비 특성을 활용하여 초당 트리리언의 MAC 연산을 달성한다.

실험 결과

연구 질문

• RQ1 통합형 실리콘 포토닉 아키텍처는 충분한 속도와 에너지 효율성으로 칩 내에서 딥 네ural 네트워크의 훈련을 수행할 수 있는가?
• RQ2 직접 피드백 정렬이 포토닉 하드웨어 플랫폼에 효과적으로 구현되어 네트워크를 거쳐 오차 기울기를 역전파하는 병목 현상을 피할 수 있는가?
• RQ3 포토닉 MAC 연산이 딥 네ural 네트워크의 종단 간 훈련을 위해 필요한 정밀도와 안정성을 확보할 수 있는가?
• RQ4 전자 구현 대비 포토닉 기울기 계산의 에너지 및 속도 성능은 어떠한가?

주요 결과

• 포토닉 아키텍처는 초당 트리리언의 곱셈-누적(MAC) 연산을 달성하여 초고속 신경망 훈련을 가능하게 한다.
• MAC 연산당 소비 에너지는 1피코줄 이하이며, 전자 시스템에 비해 에너지 효율성이 크게 향상된다.
• 포토닉 행렬-벡터 곱셈을 사용해 각 레이어에 대해 실시간 기울기 계산을 수행함으로써 지연과 하드웨어 오버헤드를 감소시킨다.
• 실험 결과, 칩 내 포토닉 MAC 연산만을 사용하여 MNIST 데이터셋에서 딥 네ural 네트워크의 훈련이 성공적으로 수행됨을 입증하였다.
• 직접 피드백 정렬 알고리즘이 네트워크를 거쳐 오차 기울기를 역전파하지 않아도 안정적이고 효율적인 훈련을 가능하게 한다.
• CMOS 호환 설계는 기존 전자 시스템과의 통합을 지원하여 하이브리드 포토닉-전자 AI 가속기의 실현 가능성을 제시한다.