[논문 리뷰] The role of delay-times in delay-based Photonic Reservoir Computing

Tim Hülser, Felix Köster외 2명|arXiv (Cornell University)|2021. 12. 22.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 광학적 리저보아르 컴퓨터에서 지연 시간이 입력 클록 사이클과 일치해야 한다는 오해를 도전하며, 오히려 임의의 지연 시간이 성능을 크게 향상시킨다는 것을 보여준다. 특히 자기 피드백과 결합 지연을 통해 다중 지연 시스템의 지연 시간를 조절함으로써, 예상할 수 없을 정도로 높은 메모리 용량을 달성하고 NARMA10 오차를 65% 감소시켰다 (NRMSE ≈ 0.1). 이는 지연 시간이 지연 기반 리저보아르 계산에서 임의로 조절 가능한 핵심 매개변수이며, 작업에 맞는 최적화에 필수적이라는 것을 입증한다.

ABSTRACT

Delay-based reservoir computing has gained a lot of attention due to the relative simplicity with which this concept can be implemented in hardware. However,there is still an misconception about the relationship between the delay-time and the input clock-cycle which has noticeable consequences for the performance. We review the existing literature on this subject and introduce the concept of delay-based reservoir computing in a manner that demonstrates that there is no predefined relationship between these two times-scales. Further, we discuss ways to improve the computing performance of a reservoir formed by delay-coupled oscillators and show the crucial impact of delay-time tuning in those multi-delay systems.

연구 동기 및 목표

• 지연 기반 리저보아르 계산에서 지연 시간가 입력 클록 사이클과 동기화되어야 한다는 널리 퍼진 오해를 바로잡는 것.
• 지연 시간가 사전에 정해져 있는 것이 아니라, 계산 성능을 최적화하기 위해 조절 가능하다는 것을 입증하는 것.
• 자기 피드백과 결합 지연을 포함한 다중 지연이 메모리 용량과 작업에 특화된 성능을 어떻게 향상시키는지 조사하는 것.
• NARMA10과 같은 작업에서 공진 또는 비동기 지연 구성이 열등하다는 것을 보여주며, 최적의 조정이 훨씬 뛰어난 성능을 낳는다는 것을 입증하는 것.

제안 방법

• 연구는 시간 다중화 리저보아르 계산 프레임워크를 사용하며, 네트워크가 아니라 시간 지연 피드백을 갖는 동적 시스템으로 리저보아르를 모델링한다.
• 자기 지연과 결합 지연이 각각 독립적으로 조절 가능한 두 개의 지연 결합 진동자로 구성된 시스템을 사용하여 메모리 용량과 작업 성능을 탐색한다.
• 선형 메모리 용량은 표준 리저보아르 계산 형식을 사용하여 계산되며, 다양한 지연 시간에 대해 입력 항을 분석한다.
• NARMA10 작업은 기준 성능으로 사용되며, 다양한 지연 구성에서 정규화된 평균 제곱근 오차(NRMSE)로 측정된다.
• 저자들은 다양한 지연 시간 범위에서 시스템의 반응을 시뮬레이션하고 분석하여 공진 및 비공진 영역을 식별한다.
• 단일 지연 및 다중 지연 시스템을 비교하여, 두 번째 지연이 메모리 용량 격차를 메우고 짧은 기간 및 긴 기간 메모리를 별도로 조절할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 지연 기반 리저보아르 계산에서 입력 클록 사이클과 지연 시간 사이에 사전에 정의된 관계가 존재하는가?
• RQ2 공진 또는 비동기화 상태를 넘어서 지연 시간를 조절하면 계산 성능이 향상될 수 있는가?
• RQ3 두 번째 지연(자기 피드백 또는 결합 지연)을 도입할 경우, 다중 지연 리저보아르 시스템의 메모리 용량과 작업 성능에 어떤 영향을 미치는가?
• RQ4 지연 시간와 입력 클록 사이클 간의 공진이 리저보아르 성능을 결정하는 데 어떤 역할을 하는가?
• RQ5 복잡한 작업인 NARMA10에 대해 짧은 기간 및 긴 기간 메모리를 최적화하기 위해 지연 시간를 별도로 조절할 수 있는가?

주요 결과

• 자기 지연 시간가 약 1000~2000 시간 단위로 조정될 경우, NARMA10 오차(NRMSE)가 약 0.1로 감소하여 기존 구성보다 뚜렷한 성능 향상을 보였다.
• 자기 지연 시간가 2000 시간 단위를 초과하면 성능이 급격히 악화되며, 이는 NARMA10 시계열에서 가장 이른 입력 항의 메모리 손실 때문이었다.
• 비트 수 $u_{-i}u_{-i-9}$에 해당하는 입력 항의 메모리 용량은 자기 지연 시간이 증가함에 따라 최적점까지 증가하다가, 이후 메모리 갭으로 인해 감소한다.
• 특히 자기 피드백 형태의 두 번째 지연을 추가하면 짧은 기간 및 긴 기간 메모리를 별도로 조절할 수 있어, 단일 지연 시스템에서 발생하는 메모리 격차를 메울 수 있다.
• 지연 시간와 입력 클록 사이클 간의 공진은 일반적으로 성능에 악영향을 미치며, 문헌에서 일반적으로 가정되는 바와 정반대이다.
• NARMA10에 최적의 지연 구성은 공진이거나 비동기화된 상태가 아니며, 그 사이에 위치한 것으로 밝혀졌으며, 이는 임의의 지연 시간가 뛰어난 성능을 낳을 수 있음을 보여준다.