[논문 리뷰] Hardware Beyond Backpropagation: a Photonic Co-Processor for Direct Feedback Alignment

Julien Launay, Iacopo Poli외 6명|arXiv (Cornell University)|2020. 12. 11.

Neural Networks and Reservoir Computing참고 문헌 26인용 수 10

한 줄 요약

이 논문은 기존 역전파 방법에 의존하지 않는, 경사 하강법을 대체하는 단일 랜덤 프로젝션을 사용하는 Direct Feedback Alignment (DFA)를 사용하여 딥 뉴럴 네트워크를 훈련하기 위한 아키텍처에 구애받지 않는 광학 공처리장치를 제시한다. 이 시스템은 광학적으로 트리리언즈의 파라미터를 갖는 랜덤 프로젝션을 계산하여 확장성 있고 통신 효율적인 훈련을 가능하게 하며, MNIST 및 Cora 벤치마크에서 GPU 기반 DFA와 동등한 성능을 달성하여 전통적인 역전파를 초월하는 초대규모 딥 러닝을 위한 광학 하드웨어의 실현 가능성을 입증한다.

ABSTRACT

The scaling hypothesis motivates the expansion of models past trillions of parameters as a path towards better performance. Recent significant developments, such as GPT-3, have been driven by this conjecture. However, as models scale-up, training them efficiently with backpropagation becomes difficult. Because model, pipeline, and data parallelism distribute parameters and gradients over compute nodes, communication is challenging to orchestrate: this is a bottleneck to further scaling. In this work, we argue that alternative training methods can mitigate these issues, and can inform the design of extreme-scale training hardware. Indeed, using a synaptically asymmetric method with a parallelizable backward pass, such as Direct Feedback Alignement, communication needs are drastically reduced. We present a photonic accelerator for Direct Feedback Alignment, able to compute random projections with trillions of parameters. We demonstrate our system on benchmark tasks, using both fully-connected and graph convolutional networks. Our hardware is the first architecture-agnostic photonic co-processor for training neural networks. This is a significant step towards building scalable hardware, able to go beyond backpropagation, and opening new avenues for deep learning.

연구 동기 및 목표

• 기존 역전파 방법을 사용할 경우 트리리언즈 파라미터를 초월하는 딥 러닝 모델을 확장할 때 발생하는 통신 병목 현상을 해결하기 위해.
• 모든 노드 간의 통신을 줄일 수 있는 대안적 훈련 방법, 예를 들어 Direct Feedback Alignment (DFA)와 같은 방법을 탐색하여 병렬적이고 시냅스 비대칭적인 가중치 갱신을 가능하게 하기 위해.
• DFA에 필요한 대규모 랜덤 프로젝션을 효율적으로 계산할 수 있는 하드웨어에 구애받지 않는 광학 공처리장치를 설계하고 구현하기 위해.
• 표준 벤치마크에서 GPU 수준의 성능을 재현함으로써 광학 하드웨어가 딥 네트워크 훈련에 실현 가능하다는 것을 검증하기 위해.
• 역전파를 초월하는 알고리즘과 광학 가속을 조합하여 초대규모 딥 러닝을 위한 새로운 길을 열기 위해.

제안 방법

• 시스템은 기존의 기울기 역전파를 대체하기 위해 최종 오차 신호를 모든 레이어에 단일 랜덤 프로젝션으로 전달하는 Direct Feedback Alignment (DFA)를 구현한다.
• 광학 공처리장치는 실리콘 포토닉스를 사용하여 대규모 랜덤 프로젝션을 광학적으로 수행함으로써 트리리언즈의 파라미터를 동시에 처리할 수 있도록 한다.
• 공처리장치는 아키텍처에 구애받지 않아, 완전히 연결된 네트워크와 그래프 컨볼루션 네트워크를 포함한 모든 신경망 구조에 사용될 수 있다.
• 성능 손실가능성을 최소화하면서 하드웨어 효율성을 향상시키기 위해 랜덤 프로젝션 가중치에 삼항화(ternarization)를 적용한다.
• 단일 큰 랜덤 프로젝션을 분할하여 개별 레이어의 피드백 신호를 생성함으로써, 역전파 단계에서의 레이어 간 통신을 제거한다.
• GPU 기반 DFA와의 비교를 통해 광학적 구현의 타당성을 검증하였으며, 이는 MNIST(완전 연결형) 및 Cora(그래프 컨볼루션형) 작업에서 수행되었다.

실험 결과

연구 질문

• RQ1 광학 공처리장치는 DFA 훈련을 위해 요구되는 대규모 랜덤 프로젝션을 효율적으로 광학적으로 계산할 수 있는가?
• RQ2 광학적 구현된 DFA는 표준 벤치마크 작업에서 GPU 기반 DFA와 동등한 성능을 달성하는가?
• RQ3 광학 공처리장치는 완전 연결형 및 그래프 신경망 아키텍처 모두를 지원하여 하드웨어에 구애받지 않는다는 것을 입증할 수 있는가?
• RQ4 가중치 양자화(예: 삼항화)가 광학 DFA 훈련의 성능에 어떤 영향을 미치는가?
• RQ5 현재 광학 대역폭과 변조 한계를 고려할 때, 광학 하드웨어는 GPT-3와 같은 현대의 대규모 모델에 필요한 크기의 파라미터 스케일에까지 확장 가능한가?

주요 결과

• 광학 공처리장치는 광학적으로 대규모 랜덤 프로젝션을 성공적으로 계산하여, MNIST 및 Cora 벤치마크에서 Direct Feedback Alignment (DFA)를 통한 훈련을 가능하게 하였다.
• 광학 DFA의 성능는 GPU 기반 DFA와 동등하며, 최소한의 초모수 조정과 아날로그 시스템 노이즈로 인한 약간의 성능 격차 외에는 거의 동일하다.
• 랜덤 프로젝션 가중치의 삼항화는 테스트된 작업에서 성능 손실가능성을 초래하지 않으며, 모델 정확도를 유지한다.
• t-SNE 시각화 결과, 광학 DFA 시스템에서 학습된 중간 표현은 역전파에서 유도된 표현과 동일한 의미적 의미를 지닌다.
• 시스템은 최대 100만 개의 입력과 200만 개의 출력을 처리할 수 있어, 현재 전자 하드웨어의 한계를 초월하는 초대규모 딥 러닝 잠재력을 보여준다.
• 공처리장치는 전체 기울기 교환을 단일 오차 신호로 대체함으로써 계산 노드 간 통신 없이도 훈련을 가능하게 하여, 노드 간 통신 오버헤드를 크게 감소시킨다.