[논문 리뷰] Electro-optical Neural Networks based on Time-stretch Method

Yubin Zang, Minghua Chen외 2명|arXiv (Cornell University)|2019. 09. 13.

Neural Networks and Reservoir Computing참고 문헌 33인용 수 5

한 줄 요약

이 논문은 광섬유 루프를 사용하여 대규모 행렬-벡터 곱셈과 다중층 전방향 계산을 수행하는 시간 스트레칭 기법을 활용한 새로운 전기광학 신경망 아키텍처를 제안한다. 수치 시뮬레이션을 통해 높은 노이즈 조건에서도 손글씨 숫자 인식 작업에서 88%의 정확도를 달성하여 광신호 처리 기술이 효율적이고 고속의 AI 추론에 활용될 잠재력을 입증한다.

ABSTRACT

In this paper, a novel architecture of electro-optical neural networks based on the time-stretch method is proposed and numerically simulated. By stretching time-domain ultrashort pulses, multiplications of large scale weight matrices and vectors can be implemented on light and multiple-layer of feedforward neural network operations can be easily implemented with fiber loops. Via simulation, the performance of a three-layer electro-optical neural network is tested by the handwriting digit recognition task and the accuracy reaches 88% under considerable noise.

연구 동기 및 목표

• AI 계산에서 전자적 제약을 극복하기 위해 광신호 처리 기술을 활용하는 새로운 하드웨어 아키텍처를 개발하는 것.
• 시간 스트레칭된 광 펄스를 이용한 섬유 루프 내에서 대규모 행렬-벡터 곱셈과 다중층 전방향 연산을 가능하게 하는 것.
• 실제 노이즈 조건 하에서도 실용적인 기계 학습 작업을 수행할 수 있는 광신경망의 실현 가능성을 입증하는 것.
• 전자적 한계를 초월해 신경망 추론을 가속화할 수 있는 전기광학 시스템의 잠재력을 탐색하는 것.

제안 방법

• 시간 스트레칭 기법을 사용해 초단파 광 펄스를 시간적으로 선형적으로 연장함으로써 신호 성분을 병렬로 처리할 수 있도록 한다.
• 시간 분할 multiplexing 방식을 통해 시간 스트레칭된 광신호의 진폭과 위상을 이용해 가중치 행렬을 인코딩한다.
• 신경망 레이어는 파이버 지연선과 수동 광학 부품을 사용하여 컨볼루션 유사 연산을 수행하도록 구현한다.
• 광섬유 구성 요소의 선형 시간 도메인 응답을 이용해 행렬-벡터 곱셈을 수행한다.
• 시간 스트레칭과 필터링 단계를 연결하여 다중 레이어 전방향 연산을 지원할 수 있도록 아키텍처를 설계한다.
• 신호 검출은 밸런스드 광검출기와 디지털화를 거친 후 표준 분류 절차를 수행한다.

실험 결과

연구 질문

• RQ1 시간 스트레칭 기법이 광신경망 내에서 대규모 행렬-벡터 곱셈을 효과적으로 구현하는 데 사용될 수 있는가?
• RQ2 섬유 루프 내에서 시간 스트레칭된 광신호를 활용해 다중층 전방향 신경망 연산을 효율적으로 실현할 수 있는가?
• RQ3 제안된 전기광학 신경망이 실세계 기계 학습 작업에서 노이즈 조건 하에서도 얼마나 잘 성능을 내는가?
• RQ4 손글씨 숫자 인식과 같은 패턴 인식 작업에서 광신경망이 달성할 수 있는 정확도는 얼마인가?

주요 결과

• 제안된 전기광학 신경망은 MNIST 데이터셋을 사용한 손글씨 숫자 인식 작업에서 88%의 분류 정확도를 달성했다.
• 시스템은 상당한 노이즈 조건에서도 뛰어난 성능을 보이며, 광구현에서의 신호 품질 저하에 대한 내성을 입증했다.
• 시간 스트레칭 기법을 통해 수동 광학 부품을 이용해 대규모 행렬-벡터 곱셈을 효율적으로 실현할 수 있었다.
• 다중 레이어 전방향 연산은 연결된 섬유 루프와 시간 도메인 신호 처리를 통해 성공적으로 실현되었다.
• 시뮬레이션 결과는 고속이고 저전력 소비로 신경망 추론을 위한 광신호 처리 기술의 실현 가능성을 입증한다.