[论文解读] Training Input-Output Recurrent Neural Networks through Spectral Methods

Hanie Sedghi, Anima Anandkumar|arXiv (Cornell University)|Mar 3, 2016

Model Reduction and Neural Networks参考文献 27被引用 12

一句话总结

该论文提出了一种谱方法，通过利用高阶矩张量和CP分解，在无需反向传播的情况下训练输入-输出循环神经网络（RNN）。通过利用二阶矩的结构并使用张量压缩技术提高效率，该方法在温和条件下可实现可证明的权重恢复，当隐藏状态动态为低秩且输入权重稀疏时，可实现精确恢复。

ABSTRACT

We consider the problem of training input-output recurrent neural networks (RNN) for sequence labeling tasks. We propose a novel spectral approach for learning the network parameters. It is based on decomposition of the cross-moment tensor between the output and a non-linear transformation of the input, based on score functions. We guarantee consistent learning with polynomial sample and computational complexity under transparent conditions such as non-degeneracy of model parameters, polynomial activations for the neurons, and a Markovian evolution of the input sequence. We also extend our results to Bidirectional RNN which uses both previous and future information to output the label at each time point, and is employed in many NLP tasks such as POS tagging.

研究动机与目标

• 通过基于高阶矩谱分解的方法，解决在无需反向传播的情况下训练输入-输出RNN的挑战。
• 在温和的结构假设下，从数据矩中实现RNN权重（输入、隐藏、输出矩阵）的精确恢复。
• 通过张量压缩技术克服高阶矩张量估计的计算瓶颈，将复杂度从指数级降低至近线性（样本大小的函数）。
• 为RNN提供一种理论基础坚实的替代梯度优化方法，尤其适用于隐藏动态为低秩的场景。

提出的方法

• 将输出和状态变换的二阶矩建模为一个三阶张量，利用二次RNN的结构特性。
• 使用逐行克罗内克积和矩阵化方法，将矩张量表达为适合张量分解的形式。
• 通过对称化和张量幂方法应用CP分解，恢复对应于底层网络参数的秩-1分量。
• 利用张量压缩技术避免显式构建高阶矩张量，将计算成本从 $ O(m^{l+1}) $ 降低至 $ O((m + m/log m)n) $。
• 在对称化和分解后，通过求解线性方程组恢复输入-隐藏、隐藏-输出和循环权重。
• 通过要求循环权重矩阵的奇异值按 $ rac{1}{ ext{dim}(h)} $ 缩放，确保系统矩阵的满列秩。

实验结果

研究问题

• RQ1 能否通过利用高阶统计矩，在无需反向传播的情况下训练输入-输出RNN？
• RQ2 在何种条件下，可从二阶矩张量中精确恢复二次RNN的权重？
• RQ3 如何在保持恢复精度的同时降低高阶矩张量估计的计算成本？
• RQ4 通过谱方法实现精确权重恢复所需的结构性假设（如稀疏性、低秩动态）是什么？

主要发现

• 当输入-隐藏权重矩阵稀疏且循环权重矩阵的奇异值按 $ rac{1}{ ext{dim}(h)} $ 缩放时，该方法可实现RNN权重的精确恢复。
• 证明了二阶矩 $ bE[y_t igotimes S_2(x_t)] $ 等于条件期望 $ bE[y_t|x_t] $ 的黑塞矩阵，从而建立了与参数恢复的直接联系。
• 张量压缩将矩估计的计算复杂度从 $ O(m^{l+1}) $ 降低至 $ O((m + m/log m)n) $，实现了可扩展训练。
• 通过矩阵 $ D = bE[y_t igotimes S_1(x_t)]^{-1} $ 实现的对称化，使得对称张量分解算法可适配至非对称RNN结构。
• 恢复过程对噪声具有鲁棒性，并可通过递归应用相同的分解框架推广至高阶张量。
• 通过算法5的实证验证表明，在给定假设下，恢复的参数 $ A_1, A_2, U $ 与真实网络权重一致。