[论文解读] Dynamical Systems as Temporal Feature Spaces

Peter Tiňo|arXiv (Cornell University)|Jul 15, 2019

Neural Networks and Reservoir Computing参考文献 53被引用 9

一句话总结

该论文提出了一种框架，将动力系统的状态空间——特别是回声状态网络（ESNs）——视为一个时间特征空间，其中池化器的动力学行为如同核机器。研究表明，具有非周期性输入耦合的确定性高维环形池化器可生成具有丰富基序多样性的深度记忆核，并在稳定性边缘附近经历特征丰富度的相变，其性能优于标准的随机或对称ESN。

ABSTRACT

Parameterized state space models in the form of recurrent networks are often used in machine learning to learn from data streams exhibiting temporal dependencies. To break the black box nature of such models it is important to understand the dynamical features of the input driving time series that are formed in the state space. We propose a framework for rigorous analysis of such state representations in vanishing memory state space models such as echo state networks (ESN). In particular, we consider the state space a temporal feature space and the readout mapping from the state space a kernel machine operating in that feature space. We show that: (1) The usual ESN strategy of randomly generating input-to-state, as well as state coupling leads to shallow memory time series representations, corresponding to cross-correlation operator with fast exponentially decaying coefficients; (2) Imposing symmetry on dynamic coupling yields a constrained dynamic kernel matching the input time series with straightforward exponentially decaying motifs or exponentially decaying motifs of the highest frequency; (3) Simple cycle high-dimensional reservoir topology specified only through two free parameters can implement deep memory dynamic kernels with a rich variety of matching motifs. We quantify richness of feature representations imposed by dynamic kernels and demonstrate that for dynamic kernel associated with cycle reservoir topology, the kernel richness undergoes a phase transition close to the edge of stability.

研究动机与目标

• 为解决储备计算中理论理解的缺乏，特别是为何简单、确定性的池化器能优于随机池化器。
• 分析池化器动力学如何塑造状态空间中输入时间序列的记忆与特征表示。
• 表征由池化器形成的动态核的丰富度，并识别实现深度记忆表示的条件。
• 挑战随机池化器最优的假设，表明确定性设计可产生更优的特征多样性。
• 提供一个严格的框架，将池化器拓扑、耦合模式与具有线性或多项式读出的线性动力系统中的记忆容量联系起来。

提出的方法

• 将池化器状态空间建模为时间特征空间，读出层作为在这些特征上运行的核机器。
• 分析由池化器诱导的动态核，定义为输入时间序列与池化器状态轨迹之间的互相关。
• 使用具有指数衰减系数的互相关算子来表征随机或对称池化器中的浅层记忆。
• 引入一种仅包含两个自由参数的环形池化器拓扑：谱半径和非周期性符号分布（例如，通过无理数的二进制展开实现）。
• 通过其能够匹配的不同时间模式（基序）的数量与多样性来量化动态核的基序丰富度。
• 应用谱分析表明，环形池化器矩阵的特征值均匀分布在半径等于谱半径的圆周上，从而实现丰富的记忆动力学。

实验结果

研究问题

• RQ1 不同的池化器拓扑结构和耦合模式如何影响状态空间中记忆表征的丰富度与深度？
• RQ2 与周期性或随机模式相比，输入耦合中的非周期性符号分布对动态核特征的塑造起何作用？
• RQ3 能否通过简单、确定性的池化器架构实现比标准随机ESN更深的记忆表征？
• RQ4 动态核的基序丰富度是否在稳定性边缘附近经历相变？如果是，其触发机制是什么？
• RQ5 池化器结构的选择如何影响核表征输入时间序列中复杂时间依赖关系的能力？

主要发现

• 随机或对称池化器耦合产生具有指数衰减互相关系数的浅层记忆核，限制了其表征长期依赖关系的能力。
• 输入耦合中的非周期性符号模式相比周期性或随机模式，可产生显著更丰富、更多样化的动态基序。
• 仅包含两个自由参数（谱半径和非周期性符号模式）的简单环形池化器可生成具有高基序丰富度的深度记忆核。
• 动态核的丰富度在谱半径接近但严格小于1时发生相变，证实了稳定性边缘的重要性。
• 即使在采用线性动力学和线性读出的情况下，此类确定性池化器仍可实现优于标准随机ESN的特征表征。
• 理论分析确认，多项式读出不会使记忆容量超过动态核基序结构中已编码的内容。