[논문 리뷰] A Unifying Framework for Information Processing in Stochastically Driven Dynamical Systems

Tomoyuki Kubota, Hirokazu Takahashi외 1명|arXiv (Cornell University)|2019. 06. 11.

Neural Networks and Reservoir Computing참고 문헌 55인용 수 6

한 줄 요약

이 논문은 시간에 따라 변하는 확률적 영향을 받는 동적 시스템으로 정보 처리 용량(IPC) 측정법을 확장하기 위해 통합 프레임워크를 제안한다. 이 프레임워크는 IPC를 다항 chaos(PCR) 전개 계수와 연결함으로써, IPC가 PCR 계수의 제곱 노름과 동일하다는 것을 입증한다. 이는 IPC를 임의의 입력 분포로 일반화하고, 시간 및 이력에 따라 변하는 함수로의 정규직교 기저를 확장함으로써, 복잡한 물리 시스템, 특히 실제 신경망 분석이 가능하게 한다.

ABSTRACT

A dynamical system can be regarded as an information processing apparatus that encodes input streams from the external environment to its state and processes them through state transitions. The information processing capacity (IPC) is an excellent tool that comprehensively evaluates these processed inputs, providing details of unknown information processing in black box systems; however, this measure can be applied to only time-invariant systems. This paper extends the applicable range to time-variant systems and further reveals that the IPC is equivalent to coefficients of polynomial chaos (PC) expansion in more general dynamical systems. To achieve this objective, we tackle three issues. First, we establish a connection between the IPC for time-invariant systems and PC expansion, which is a type of polynomial expansion using orthogonal functions of input history as bases. We prove that the IPC corresponds to the squared norm of the coefficient vector of the basis in the PC expansion. Second, we show that an input following an arbitrary distribution can be used for the IPC, removing previous restrictions to specific input distributions. Third, we extend the conventional orthogonal bases to functions of both time and input history and propose the IPC for time-variant systems. To show the significance of our approach, we demonstrate that our measure can reveal information representations in not only machine learning networks but also a real, cultured neural network. Our generalized measure paves the way for unveiling the information processing capabilities of a wide variety of physical dynamics which has been left behind in nature.

연구 동기 및 목표

• 시간 불변 시스템을 넘어서 시간에 따라 변하는 동적 시스템으로 정보 처리 용량(IPC) 측정법을 확장하기 위해.
• 일반적인 동적 시스템에서 IPC와 다항 chaos(PC) 전개 계수 사이의 이론적 동치성을 확립하기 위해.
• 입력 분포에 대한 제약 조건을 제거하여, 임의의 확률적 입력에 대한 IPC 적용을 가능하게 하기 위해.
• 비정상 시스템을 위한 시간 및 이력에 따라 변하는 정규직교 기저를 사용한 일반화된 IPC 프레임워크를 개발하기 위해.
• 이 프레임워크의 유용성을 인공 리저보아와 실제 배양된 신경망 모두에서 분석함으로써 입증하기 위해.

제안 방법

• 시스템 상태의 다항 chaos(PC) 전개에서 계수의 제곱 노름과 IPC 사이의 수학적 동치성을 유도한다.
• 입력 이력의 정규직교 다항식을 기저 함수로 사용하여, 표준 PC 프레임워크를 시간에 따라 변하는 시스템으로 일반화한다.
• 비정상 동적 시스템에서 상태 전이를 표현하기 위해 시간 및 이력에 따라 변하는 정규직교 기저를 도입한다.
• 이전에 가우시안 또는 특정 분포에 제한되었던 제약 조건 없이, 임의의 입력 분포를 가진 시스템에 일반화된 IPC 측정법을 적용한다.
• 선형 회귀를 사용하여 리저보아 상태에서 목표 출력을 추정하고, 정규화된 오차를 사용해 IPC를 계산한다.
• 합성 리저보아와 실제 배양된 신경망을 대상으로, 마이크로전극 어레이(MEA) 기록을 사용해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 정보 처리 용량(IPC)은 시간에 따라 변하는 동적 시스템으로 어떻게 일반화될 수 있는가?
• RQ2 확률적 동적 시스템에서 IPC와 다항 chaos(PC) 전개 계수 사이의 이론적 관계는 무엇인가?
• RQ3 IPC는 가우시안 또는 특정 분포 외의 임의의 입력 분포를 가진 시스템에도 적용될 수 있는가?
• RQ4 시간 및 이력에 따라 변하는 정규직교 기저는 비정상 시스템에서 정보 처리의 표현을 어떻게 향상시키는가?
• RQ5 일반화된 IPC 측정법은 실제 생물학적 신경망에서 의미 있는 정보 표현을 드러낼 수 있는가?

주요 결과

• IPC는 시스템 상태의 다항 chaos(PC) 전개에서 계수 벡터의 제곱 노름과 수학적으로 동일하다.
• 이 프레임워크는 이전에 특정 분포(예: 가우시안)로 제한되었던 제약 조건 없이, 임의의 입력 분포로 IPC를 일반화한다.
• 시간 및 이력에 따라 변하는 정규직교 기저를 도입함으로써, 제안된 방법은 IPC를 시간에 따라 변하는 시스템으로 성공적으로 확장한다.
• 일반화된 IPC 측정법은 실제 배양된 신경망이 고차원의 입력 이력, 즉 지연된 및 비선형 조합된 정보를 인코딩하고 있음을 드러낸다.
• 배양된 신경망에서 IPC 분석은 최대 10~12단계의 시간 지연이 있는 입력 패턴에 대해 의미 있는 처리 용량을 감지하였다. 이는 복잡한 시간적 통합을 의미한다.
• 이 프레임워크는 전통적인 시간 불변 모델을 넘어서, 생물학적 및 공학적 리저보아를 포함한 다양한 물리 시스템에서 정보 처리의 정량적 평가를 가능하게 한다.