[논문 리뷰] Reservoir computing with simple oscillators: Virtual and real networks

André Röhm, Kathy Lüdge|arXiv (Cornell University)|2018. 02. 23.

Neural Networks and Reservoir Computing참고 문헌 44인용 수 10

한 줄 요약

이 논문은 실수의 단순 진동자 네트워크와 시간분할 다중화 지연선을 조합한 하이브리드 리저보아 커파이팅 프레임워크를 제안하여 높은 계산 성능를 달성한다. 마스킹를 통해 실수의 노드 수와 가상화된 차원 수를 체계적으로 변화시킴으로써, 다중화된 네트워크가 순수 지연선 리저보아보다 성능이 유사하거나 뛰어나며, 파rameter 변화에 덜 민감하고 더 빠른 계산이 가능하다는 것을 입증한다.

ABSTRACT

The reservoir computing scheme is a machine learning mechanism which utilizes the naturally occuring computational capabilities of dynamical systems. One important subset of systems that has proven powerful both in experiments and theory are delay-systems. In this work, we investigate the reservoir computing performance of hybrid network-delay systems systematically by evaluating the NARMA10 and the Sante Fe task.. We construct 'multiplexed networks' that can be seen as intermediate steps on the scale from classical networks to the 'virtual networks' of delay systems. We find that the delay approach can be extended to the network case without loss of computational power, enabling the construction of faster reservoir computing substrates.

연구 동기 및 목표

• 실수의 진동자와 시간분할 다중화 지연선을 조합한 하이브리드 네트워크가 장지연선 기반 순수 가상 리저보아의 성능을 따라하거나 능가할 수 있는지 조사하기.
• 리저보아 커파이팅 시스템에서 네트워크 구조 및 실수의 노드 수가 계산 성능에 미치는 영향을 이해하기.
• 하이브리드 리저보아 아키텍처에서 계산 속도, 파rameter 민감도, 성능 간의 상호 상충 관계를 평가하기.
• 표준 벤치마크 과제를 사용하여 실수 네트워크, 가상 네트워크, 다중화 하이브리드 시스템 간의 체계적이고 정량적인 비교를 제공하기.

제안 방법

• 실수의 진동자와 시간분할 다중화 지연선을 조합하여 다중화 네트워크를 구성하고, 총 읽기 차원을 일정하게 유지한다.
• 시간분할 다중화(마스킹) 기법을 사용하여 리저보아 내에서 가상의 노드를 시뮬레이션함으로써 위상공간 차원을 효과적으로 증가시킨다.
• 지연결합을 갖는 비선형 진동자 시스템을 사용하여 리저보아의 동역학을 모델링하며, 이는 지연 미분방정식의 집합으로 기술된다.
• 성능 평가를 위해 NARMA10 및 산타페 과제를 표준 리저보아 커파이팅 문제로 구현한다.
• 연결 강도와 피드백 지연 시간에 대한 2차원 파rameter 스캔을 수행하여 다양한 네트워크 구성에서의 성능를 평가한다.
• 계산 정확도를 정량화하고 비교하기 위해 주로 NRMSE(정규화된 평균제곱근오차)를 사용한다.

실험 결과

연구 질문

• RQ1 실수의 진동자와 시간분할 다중화 지연선을 조합한 하이브리드 리저보아 아키텍처가 장지연선 기반 순수 가상 리저보아의 성능을 따라하거나 능가할 수 있는가?
• RQ2 네트워크 내 실수의 노드 수가 리저보아 컴퓨터의 계산 성능 및 파rameter 민감도에 미치는 영향은 어떠한가?
• RQ3 실수 네트워크의 구조(일방향 루프, 자기피드백가능 양방향 루프)가 하이브리드 리저보아 시스템의 성능에 영향을 미치는가?
• RQ4 하이브리드 리저보아 시스템에서 계산 속도와 성능 간의 상호 상충 관계가 존재하는가? 이를 최적화할 수 있는가?
• RQ5 큰 실수 네트워크에서의 다중안정성 존재 여부가 작은 네트워크 또는 다중화 시스템에 비해 리저보아 성능에 어떤 영향을 미치는가?

주요 결과

• 256개의 실수 노드를 갖는 큰 완전 실수 네트워크는 NARMA10 및 산타페 과제에서 빈번히 0.4 이상의 NRMSE 값을 보이며 열악한 성능를 나타낸다.
• 낮은 실수 노드 수(예: 1~16)와 높은 가상화 수준을 갖는 다중화 네트워크는 최신 기술 수준의 성능를 확보하며, 순수 지연선 리저보아를 능가하거나 유사하게 유지한다.
• 중간 정도의 실수 노드 수와 높은 시간분할 다중화를 갖는 시스템에서 최적의 성능를 달성하며, 이는 복잡성과 계산 능력 사이의 균형을 의미한다.
• 하이브리드 시스템은 큰 실수 네트워크보다 파rameter 민감도가 낮고 계산 속도가 빠르며, 실험적 구현에 더 내구성 있고 실용적이다.
• 자기피드백가능 양방향 루프 구조는 낮은 가상화 수준(높은 실수 노드 수)에서 성능 저하가 가장 두드러지며, 이는 다중안정성 증가로 인한 것으로 보인다.
• 비동일한 지연선 또는 마스킹을 사용할 경우 성능 향상이 가능할 수 있으나, 계산 비용 상의 이유로 시뮬레이션되지 않았으며, 향후 연구의 유망한 방향으로 제시된다.