[论文解读] Memory and Information Processing in Recurrent Neural Networks

Alireza Goudarzi, Sarah Marzen+4 more|arXiv (Cornell University)|Apr 23, 2016

Neural Networks and Reservoir Computing参考文献 2被引用 10

一句话总结

本文提出了一种精确的解析框架，通过将网络结构与输入相关性关联，以计算循环神经网络（RNNs）中的内存容量和任务性能，特别针对回声状态网络系统。研究表明，对于相关输入，内存容量可超过 N；规则网络结构可最大化容量，但易受扰动影响；而异质网络则在牺牲部分容量的前提下提供了更强的鲁棒性。

ABSTRACT

Recurrent neural networks (RNN) are simple dynamical systems whose computational power has been attributed to their short-term memory. Short-term memory of RNNs has been previously studied analytically only for the case of orthogonal networks, and only under annealed approximation, and uncorrelated input. Here for the first time, we present an exact solution to the memory capacity and the task-solving performance as a function of the structure of a given network instance, enabling direct determination of the function--structure relation in RNNs. We calculate the memory capacity for arbitrary networks with exponentially correlated input and further related it to the performance of the system on signal processing tasks in a supervised learning setup. We compute the expected error and the worst-case error bound as a function of the spectra of the network and the correlation structure of its inputs and outputs. Our results give an explanation for learning and generalization of task solving using short-term memory, which is crucial for building alternative computer architectures using physical phenomena based on the short-term memory principle.

研究动机与目标

• 建立网络结构与RNN中内存容量之间的直接数学联系，超越平均场近似方法。
• 将内存分析扩展至具有相关输入的任意网络，突破对正交或不相关输入的假设限制。
• 将内存容量与监督学习设置下的任务求解性能直接关联。
• 量化网络拓扑结构（特别是稀疏性与随机性）对回声状态网络中内存容量与泛化能力的影响。
• 基于网络谱特性与输入-输出相关性结构，推导期望误差与最坏情况误差边界。

提出的方法

• 利用网络权重重心矩阵的谱半径与输入自相关函数，推导出内存容量的精确表达式。
• 采用状态演化方程 $ x_{t+1} = \boldsymbol{\Omega}x_t + \boldsymbol{\omega}u_t $ 建模网络动力学，并计算互相关与自相关矩阵。
• 应用谱分解与功率谱密度表示方法，通过 $ \boldsymbol{\Omega}_+^{-1} $ 与 $ \boldsymbol{\Omega}_-^{-1} $ 在频域中表达 $ \mathbf{X}^\top\mathbf{X} $ 与 $ \mathbf{X}^\top\widehat{\mathbf{Y}} $。
• 使用正则化最小二乘法计算读出权重 $ \boldsymbol{\Psi} $，引入Tikhonov正则化以稳定解。
• 通过均方误差（MSE）评估性能，其误差表达式基于输入-输出相关函数与网络特征值推导得出。
• 系统性地改变网络结构（从环形图到随机图）与谱半径 $ \lambda $，以评估其对内存容量与任务性能的影响。

实验结果

研究问题

• RQ1 在非不相关输入条件下，输入相关性如何影响循环神经网络的内存容量？
• RQ2 网络结构（谱半径、稀疏性、随机性）与RNN中内存容量之间的精确关系是什么？
• RQ3 在何种输入条件下，RNN中的内存容量可超过自由度数量 $ N $？
• RQ4 网络结构如何影响在NARMA10与Mackey-Glass预测等信号处理任务中的泛化性能？
• RQ5 基于网络谱特性与输入相关性，任务性能的期望误差与最坏情况误差边界分别是什么？

主要发现

• 对于指数相关输入，内存容量超过 $ N $，表明输入信号中的冗余性可使系统存储比自由度数量更多的序列。
• 归一化后的总内存容量（以 $ N $ 为基准）随输入相关性增加而提升，证实结构化输入可增强信息保留能力。
• 规则的、确定性的网络拓扑结构（如环形结构）可实现最高的内存容量，但对结构扰动极为敏感。
• 适度引入网络随机性可在NARMA10与Mackey-Glass任务中降低误差，表明鲁棒性得到提升，但过度不规则化最终导致性能下降。
• 期望均方误差（MSE）随样本数量增加而收敛至真实值，解释了系统从训练数据泛化到测试数据的能力。
• 基于权重重心矩阵的谱特性与输入-输出相关性，推导出最坏情况误差边界，从而可对任意RNN的性能进行预测。