[论文解读] Learning Input and Recurrent Weight Matrices in Echo State Networks

Hamid Palangi, Li Deng+1 more|arXiv (Cornell University)|Nov 13, 2013

Neural Networks and Reservoir Computing参考文献 15被引用 9

一句话总结

本文提出了一种新方法，通过利用输出单元的线性特性，同时学习回声状态网络（ESNs）中的输入权重矩阵和循环权重矩阵，从而实现解析梯度计算，而非递归反向传播。该方法在较长时间步长下实现了更优的语音状态分类准确率，显著优于传统ESN（其输入和循环权重矩阵固定）。

ABSTRACT

Echo State Networks (ESNs) are a special type of the temporally deep network model, the Recurrent Neural Network (RNN), where the recurrent matrix is carefully designed and both the recurrent and input matrices are fixed. An ESN uses the linearity of the activation function of the output units to simplify the learning of the output matrix. In this paper, we devise a special technique that take advantage of this linearity in the output units of an ESN, to learn the input and recurrent matrices. This has not been done in earlier ESNs due to their well known difficulty in learning those matrices. Compared to the technique of BackPropagation Through Time (BPTT) in learning general RNNs, our proposed method exploits linearity of activation function in the output units to formulate the relationships amongst the various matrices in an RNN. These relationships results in the gradient of the cost function having an analytical form and being more accurate. This would enable us to compute the gradients instead of obtaining them by recursion as in BPTT. Experimental results on phone state classification show that learning one or both the input and recurrent matrices in an ESN yields superior results compared to traditional ESNs that do not learn these matrices, especially when longer time steps are used.

研究动机与目标

• 为克服传统ESN的局限性，即尽管其性能潜力较高，但固定输入和循环权重矩阵。
• 开发一种学习方法，在保留ESN计算优势（如凸优化和并行训练）的同时，将可学习参数扩展至输出矩阵之外。
• 利用ESN中输出单元的线性特性，推导输入和循环权重的解析梯度，避免使用递归反向传播。
• 证明学习这些矩阵可提升序列建模任务的性能，特别是在存在更长时间依赖关系时。

提出的方法

• 通过利用ESN输出单元的线性激活特性，建立输入、循环和输出权重矩阵之间的约束关系。
• 推导出损失函数关于输入权重和循环权重的解析梯度表达式，实现精确梯度计算，而非递归近似。
• 采用岭回归进行输出权重学习，并将此框架扩展至利用推导出的解析梯度，联合优化输入和循环矩阵。
• 学习过程基于一种改进的优化方案，该方案结合了m个时间步的时序依赖关系，其中m控制梯度计算在历史中的覆盖范围。
• 通过依赖ESN的凸线性结构，避免了BPTT中常见的梯度消失/爆炸问题，即使在扩展学习至非固定矩阵时亦成立。
• 通过保持线性输出层并使用凸优化处理所有可学习参数，维持了ESN高效、批量并行训练的核心优势。

实验结果

研究问题

• RQ1 在保持传统ESN计算简单性和收敛性特征的前提下，能否有效学习ESN中的输入和循环权重矩阵？
• RQ2 与标准RNN中使用的递归反向传播相比，对输入和循环权重采用解析梯度计算是否能带来更精确的学习效果？
• RQ3 通过增大m值引入更长的时序依赖关系，对扩展ESN的性能有何影响？
• RQ4 与固定矩阵ESN相比，学习这些矩阵是否能提升语音状态识别等序列任务的分类准确率？
• RQ5 当应用于更大规模的隐藏层和更复杂任务时，该方法是否具备可扩展性和有效性？

主要发现

• 在ESN中同时学习输入和循环权重矩阵，相比传统ESN（固定矩阵），显著提升了帧级语音状态分类的准确率。
• 当隐藏单元数为30,000时，该方法在m=3个时间步下达到43.0%的错误率，而传统ESN为53.3%。
• 与m=1相比，m=3时错误率进一步降低，表明引入更多时序上下文可增强性能。
• 即使在100个隐藏单元下，该方法也将错误率从传统ESN的75.5%降低至63.2%（m=3，同时学习两组矩阵）。
• 在所有隐藏单元规模下性能提升均保持一致，且在更高容量设置下提升最为显著。
• 结果表明，在保持线性和凸性的同时扩展可学习参数，可提升序列任务上的泛化能力和准确率。