[논문 리뷰] Light-in-the-loop: using a photonics co-processor for scalable training of neural networks

Julien Launay, Iacopo Poli외 5명|arXiv (Cornell University)|2020. 06. 02.

Neural Networks and Reservoir Computing참고 문헌 16인용 수 5

한 줄 요약

이 논문은 직접 피드백 정렬(DFA)을 통해 신경망 학습을 가속화하는 광학 공처리기의 최초 실험적 구현을 제시한다. 이는 대규모 광학적 무작위 투영을 수행하기 위해 오프아웃스 허모그래피를 사용한다. 시스템은 1.5 kHz의 투영 속도와 최대 30W의 전력 소비로 MNIST에서 95.8%의 테스트 정확도를 달성하며, 대규모 모델을 위한 GPU 기반 학습에 비해 확장 가능하고 저전력인 대안을 제공한다.

ABSTRACT

As neural networks grow larger and more complex and data-hungry, training costs are skyrocketing. Especially when lifelong learning is necessary, such as in recommender systems or self-driving cars, this might soon become unsustainable. In this study, we present the first optical co-processor able to accelerate the training phase of digitally-implemented neural networks. We rely on direct feedback alignment as an alternative to backpropagation, and perform the error projection step optically. Leveraging the optical random projections delivered by our co-processor, we demonstrate its use to train a neural network for handwritten digits recognition.

연구 동기 및 목표

• 대규모 신경망 학습의 증가하는 계산 및 에너지 비용을 해결하기 위해, 특히 추천 시스템이나 자율주행 차량과 같은 수명 주기 학습 시나리오에서의 도전에 대응한다.
• 백프로파게이션의 순차적 의존성을 피하기 위해 직접 피드백 정렬(DFA)을 사용하는 하이브리드 아날로그-디지털 학습 가속기 개발.
• 광학 공처리기가 DFA에 필수적인 대규모 저전력 무작위 투영을 수행할 수 있음을 실험적으로 입증한다.
• 오차 투영 단계를 광학으로 이관함으로써 딥 신경망의 확장 가능하고 메모리가 없는 학습을 가능하게 하되, 디지털 추론은 유지한다.

제안 방법

• 백프로파게이션의 대안으로 직접 피드백 정렬(DFA)을 사용하여, 고정된 무작위 행렬을 사용해 전역 오차를 각 층에 투영함으로써 층 갱신을 분리한다.
• LightOn의 광학 처리 장치(OPU)를 사용하여 오프아웃스 허모그래피를 통해 오차 벡터의 광학적 무작위 투영을 수행함으로써 고속·저전력 선형 변환을 실현한다.
• 공진면 조절 장치를 통해 오차 벡터를 일관된 빛 빔에 인코딩하고, 산란 매질을 통과시켜 카메라로 촬영한 스페클 무늬를 생성한다.
• 간섭계적 오프아웃스 허모그래피를 사용해 복소수 벡터 투영 결과를 재구성함으로써 오차 벡터의 광학적 무작위 투영을 복원한다.
• 광학 투영을 디지털 학습 루프에 통합: 광학 공처리기는 가중치 갱신을 위한 오차 신호를 계산하고, 순방향 전파 작업은 여전히 디지털 하드웨어에서 수행한다.
• 광학 입력 장치와의 호환성을 위해 오차 벡터를 ±1 또는 0으로 양자화함으로써 신호 왜곡을 최소화하면서도 학습 성능를 유지한다.

실험 결과

연구 질문

• RQ1 광학 공처리기가 광학적으로 대규모 무작위 투영을 수행함으로써 딥 신경망 학습을 효과적으로 가속화할 수 있는가?
• RQ2 표준 벤치마크에서 정확도와 수렴 속도 측면에서 광학 DFA의 성능가 표준 백프로파게이션과 비교해 볼 때 어떻게 되는가?
• RQ3 오프아웃스 허모그래피를 통한 광학적 무작위 투영이 크기와 속도 측면에서 얼마나 확장 가능하며, 대규모 모델 학습을 위해 수치 정밀도를 유지할 수 있는가?
• RQ4 이 하이브리드 광학-디지털 접근 방식이 대규모 신경망의 GPU 기반 학습에 비해 상당한 에너지 효율성 향상을 이룰 수 있는가?
• RQ5 현재 광학 하드웨어의 입력 크기, 출력 해상도 및 디지털 학습 파이프라인과의 통합 측면에서 실질적인 제약은 무엇인가?

주요 결과

• 광학 공처리기는 최대 1.5 kHz의 속도로 광학적 무작위 투영을 성공적으로 수행했으며, 최대 출력 크기는 약 10^5 요소였다.
• 같은 학습 설정으로 광학 DFA 학습 절차를 사용해 MNIST 수기 숫자 인식 작업에서 95.8%의 테스트 정확도를 달성했다.
• GPU에서 동일한 설정으로 학습률 0.001로 학습한 결과 97.6%의 정확도를 기록했고, 비양자화 오차 버전은 97.7%에 도달하여, 양자화로 인한 작은 성능 격차가 있음을 시사했다.
• 광학 시스템은 약 30W의 전력 소비만으로도 운영되었으며, 이는 대규모 학습에서 GPU 대비 약 10배의 에너지 효율 향상을 시사한다.
• 이 아키텍처는 신경망 구조에 관계없이 적용 가능하며, 중간 기울기 값을 저장할 필요가 없어 확장 가능한 배포가 가능하다.
• 단계 이동형 허모그래피로 전환함으로써 향후 10^6 입력/출력 차원으로의 확장이 가능하며, 트리리언 파rameter 계산이 가능해질 전망이다.