[论文解读] A Unifying Framework for Information Processing in Stochastically Driven Dynamical Systems

Tomoyuki Kubota, Hirokazu Takahashi+1 more|arXiv (Cornell University)|Jun 11, 2019

Neural Networks and Reservoir Computing参考文献 55被引用 6

一句话总结

本文提出一个统一框架，通过将信息处理能力（IPC）与多项式混沌（PC）展开系数关联，将IPC度量扩展至时变、随机驱动的动力系统。该研究证明IPC等于PC系数的平方范数，将IPC推广至任意输入分布，并将正交基推广至时变和历史依赖函数，从而实现对复杂物理系统（包括真实神经网络）的分析。

ABSTRACT

A dynamical system can be regarded as an information processing apparatus that encodes input streams from the external environment to its state and processes them through state transitions. The information processing capacity (IPC) is an excellent tool that comprehensively evaluates these processed inputs, providing details of unknown information processing in black box systems; however, this measure can be applied to only time-invariant systems. This paper extends the applicable range to time-variant systems and further reveals that the IPC is equivalent to coefficients of polynomial chaos (PC) expansion in more general dynamical systems. To achieve this objective, we tackle three issues. First, we establish a connection between the IPC for time-invariant systems and PC expansion, which is a type of polynomial expansion using orthogonal functions of input history as bases. We prove that the IPC corresponds to the squared norm of the coefficient vector of the basis in the PC expansion. Second, we show that an input following an arbitrary distribution can be used for the IPC, removing previous restrictions to specific input distributions. Third, we extend the conventional orthogonal bases to functions of both time and input history and propose the IPC for time-variant systems. To show the significance of our approach, we demonstrate that our measure can reveal information representations in not only machine learning networks but also a real, cultured neural network. Our generalized measure paves the way for unveiling the information processing capabilities of a wide variety of physical dynamics which has been left behind in nature.

研究动机与目标

• 将信息处理能力（IPC）度量从时不变系统扩展至时变动力系统。
• 建立一般动力系统中IPC与多项式混沌（PC）展开系数之间的理论等价性。
• 消除对输入分布的限制，使IPC可应用于任意随机输入。
• 利用时变和历史依赖的正交基，构建适用于非平稳系统的广义IPC框架。
• 展示该框架在分析人工储层和真实培养神经网络中的实用性。

提出的方法

• 推导出IPC与系统状态多项式混沌（PC）展开系数平方范数之间的数学等价性。
• 使用输入历史的正交多项式作为基函数，将标准PC框架推广至时变系统。
• 引入时变和历史依赖的正交基，以表示非平稳动力系统中的状态转移。
• 将广义IPC度量应用于具有任意输入分布的系统，消除了先前对高斯分布或特定分布的限制。
• 采用线性回归从储层状态估计目标输出，并利用归一化误差计算IPC。
• 使用微电极阵列（MEA）记录，在合成储层和真实培养神经网络上验证该框架。

实验结果

研究问题

• RQ1 如何将信息处理能力（IPC）推广至时变动力系统？
• RQ2 在随机动力系统中，IPC与多项式混沌（PC）展开系数之间存在何种理论关系？
• RQ3 IPC能否应用于任意输入分布的系统，而不仅限于高斯分布或特定分布？
• RQ4 时变和历史依赖的正交基如何改善非平稳系统中信息处理的表征？
• RQ5 广义IPC度量能否揭示真实生物神经网络中的有意义信息表征？

主要发现

• IPC在数学上等价于系统状态多项式混沌（PC）展开系数向量的平方范数。
• 该框架将IPC推广至任意输入分布，消除了先前对高斯分布等特定分布的限制。
• 通过引入时变和历史依赖的正交基，该方法成功将IPC扩展至时变系统。
• 广义IPC度量表明，真实培养神经网络对高阶输入历史（包括延迟和非线性组合）进行编码。
• 在培养神经网络中，IPC分析检测到输入模式在10–12步时间延迟范围内具有显著的处理能力，表明存在复杂的时序整合。
• 该框架实现了对多样化物理系统（包括生物和工程储层）中信息处理的定量评估，超越了传统时不变模型的局限。