[논문 리뷰] Parallel photonic reservoir computing using frequency multiplexing of neurons

Akram Akrout, Arno Bouwens외 4명|arXiv (Cornell University)|2016. 12. 24.

Neural Networks and Reservoir Computing참고 문헌 20인용 수 11

한 줄 요약

이 논문은 주파수 도메인 다중화를 사용하여 모든 뉴런 상태를 동시에 처리하는 병렬 광학 저항기 컴퓨터를 제안한다. 이는 기존의 시간 다중화 시스템에서 발생하는 속도 제한을 극복한다. 뉴런 상태를 고유한 광학 주파수 채널에 인코딩하여 고속 처리를 실현하였으며, 13개 뉴런으로 구성된 저항기 시스템이 음성 인식 및 비선형 시스템 복원과 같은 기준 작업에서 이전의 시간 다중화 광학 시스템과 유사한 성능을 보였다.

ABSTRACT

Today's unrelenting increase in demand for information processing creates the need for novel computing concepts. Reservoir computing is such a concept that lends itself particularly well to photonic hardware implementations. Over recent years, these hardware implementations have gained maturity and now achieve state-of-the-art performance on several benchmark tasks. However, implementations so far are essentially all based on sequential data processing, leaving the inherent parallelism of photonics unexploited. Parallel implementations process all neurons simultaneously, and therefore have the potential of reducing computation time by a factor equal to the number of neurons, compared to sequential architectures. Here, we report a parallel reservoir computer that uses frequency domain multiplexing of neuron states. We illustrate its performance on standard benchmark tasks such as nonlinear channel equalization, the reproduction of a nonlinear 10th-order system, and speech recognition, obtaining error rates similar to previous optical experiments. The present experiment is thus an important step towards high speed, low footprint, all optical photonic information processing.

연구 동기 및 목표

• 시간 다중화 방식에서 발생하는 뉴런 상태의 순차적 처리로 인한 광학 저항기 계산의 속도 제한 문제를 해결하기 위해.
• 시간 도메인 대신 주파수 도메인에서 뉴런 상태를 다중화하여 광학 시스템이 내재한 병렬성을 활용하기 위해.
• 빠른 입력 업데이트 속도를 확보하면서도 높은 성능을 유지하는 병렬 저항기 컴퓨터의 개념 증명을 위해.
• 처리 시간이나 면적을 늘리지 않고도 뉴런 수를 확장할 수 있는지 탐색하기 위해.
• 표준 기준 작업, 예를 들어 음성 인식 및 비선형 시스템 식별과 같은 작업에서 시스템 성능을 평가하기 위해.

제안 방법

• 뉴런 상태는 마이크로파 신호로 구동되는 위상 변조기를 사용하여 광학 주파수 도메인의 사이드밴드로 인코딩된다.
• 저항기는 지연 피드백이 있는 단일 비선형 노드로 구현되며, 각 주파수 사이드밴드가 별개의 뉴런에 해당한다.
• 입력 신호를 인코딩하고 비선형 동역학을 가능하게 하기 위해 진폭 및 위상 변조를 사용하는 동위상 광학 처리 방식을 사용한다.
• 각 주파수 다중화 뉴런 상태의 반응을 순차적으로 읽기 위해 가변 대역통과 필터를 사용한다.
• 출력층은 뉴런 반응의 가중치 합산을 수행하며, 선형 회귀를 통해 출력 가중치를 최적화함으로써 학습이 이루어진다.
• 뉴런 상태를 위한 가용 주파수 채널 수를 늘리기 위해 광학 주파수 조합원 또는 넓은 대역의 변조기를 아키텍처에 활용한다.

실험 결과

연구 질문

• RQ1 뉴런 상태의 주파수 도메인 다중화가 광학 저항기 계산에서 진정한 병렬 처리를 가능하게 할 수 있는가?
• RQ2 표준 기준 작업에서 주파수 다중화 저항기 컴퓨터의 성능이 기존의 시간 다중화 광학 시스템과 비교해 어떻게 되는가?
• RQ3 현재 구현에서 사용 가능한 뉴런 수의 제한 요소는 무엇이며, 향후 하드웨어 개선으로 이를 극복할 수 있는가?
• RQ4 시간 도메인 다중화를 제거함으로써 입력 업데이트 속도를 크게 향상시킬 수 있으며, 실용적 제약 조건은 무엇인가?
• RQ5 출력층 처리를 완전히 광학 도메인에서 수행할 수 있는가? 즉, 모든 광학적 운영을 유지할 수 있는가?

주요 결과

• 주파수 다중화 광학 저항기 컴퓨터는 TIMIT 음성 인식 작업에서 시뮬레이션 시 2.1% (±1.2)의 단어 오류률(WER)을 기록했으며, 실험에서는 2.8% (±1.5)를 기록하여 이전의 시간 다중화 광학 시스템과 유사한 성능을 보였다.
• 비선형 채널 균형 조정 및 10차 비선형 시스템 복원 작업에서 성공적인 성능을 보였으며, 오류율이 이전의 광학 실험과 일치했다.
• 단지 13개의 뉴런만을 사용했음에도 불구하고, 뉴런 수가 증가할수록 성능이 향상된다는 기대와 일치하는 결과를 보였으며, 200개 뉴런을 사용한 시뮬레이션에서는 WER가 0.15% (±0.1)를 기록했다.
• 입력 업데이트 속도는 뉴런 수에 따라 제한되지 않고, 캐비티의 루프 트립 시간 τ에 의해 결정되며, 이는 순차적 아키텍처 대비 N 배의 속도 향상을 가능하게 한다.
• 현재의 제한 요소는 사용 가능한 주파수 채널 수가 적은 것(13개)으로, 주로 변조 깊이나 필터 해상도의 하드웨어 제약 때문이다.
• 미래에는 온칩 캐비티와 모드 잠금 레이저를 통합함으로써 약 N ≈ 100개의 뉴런을 구현하고, 입력 업데이트 시간을 200 ps에서 1 ns 수준으로 낮출 수 있을 것으로 기대되며, 이는 기존 시스템 대비 속도와 면적 측면에서 뛰어난 성능을 발휘할 수 있다.