[论文解读] Low-rank passthrough neural networks

Antonio Valerio Miceli Barone|arXiv (Cornell University)|Mar 10, 2016

Neural Networks and Applications参考文献 39被引用 6

一句话总结

该论文为传递神经网络（如LSTM和GRU）提出了低秩及低秩加对角矩阵参数化方法，以解耦状态大小与参数数量，从而在保持记忆容量的同时降低内存和数据复杂度。该方法在顺序随机置换MNIST数据集上取得了接近最先进水平的结果，显著提升了参数效率，且未牺牲性能。

ABSTRACT

Various common deep learning architectures, such as LSTMs, GRUs, Resnets and Highway Networks, employ state passthrough connections that support training with high feed-forward depth or recurrence over many time steps. These "Passthrough Networks" architectures also enable the decoupling of the network state size from the number of parameters of the network, a possibility has been studied by ewcite{Sak2014} with their low-rank parametrization of the LSTM. In this work we extend this line of research, proposing effective, low-rank and low-rank plus diagonal matrix parametrizations for Passthrough Networks which exploit this decoupling property, reducing the data complexity and memory requirements of the network while preserving its memory capacity. This is particularly beneficial in low-resource settings as it supports expressive models with a compact parametrization less susceptible to overfitting. We present competitive experimental results on several tasks, including language modeling and a near state of the art result on sequential randomly-permuted MNIST classification, a hard task on natural data.

研究动机与目标

• 解决深度神经网络中模型容量与参数数量之间的权衡问题。
• 利用LSTM和GRU等架构中的状态传递机制，解耦状态大小与可训练参数数量。
• 开发高效、低维的参数化方法——特别是低秩及低秩加对角矩阵分解——用于隐藏层变换。
• 在序列建模任务（包括随机置换MNIST和字符级语言建模）上评估所提方法，重点关注参数效率与性能表现。
• 证明：只要结构合理，减少参数化不会损害记忆容量或预测性能。

提出的方法

• 该论文将低秩矩阵分解应用于GRU和LSTM层中的循环权重矩阵，将参数数量从O(n²)降低至O(rn)，其中r为秩。
• 提出一种低秩加对角参数化方法，其中变换矩阵被分解为一个低秩矩阵加上一个对角矩阵，从而在参数更少的情况下实现更具表现力的表示。
• 该方法保留了状态传递机制，使隐藏状态在层间基本保持不变，从而缓解梯度消失问题。
• 该方法同时应用于GRU和LSTM架构，并通过消融实验研究了参数共享与非共享投影矩阵、不同秩和状态大小的影响。
• 实验采用标准基准数据集，包括随机置换MNIST和字符级语言建模，训练与评估协议与先前最先进方法保持一致。
• 通过贝叶斯循环丢弃正则化提升泛化能力，尤其在低参数设置下表现更优。

实验结果

研究问题

• RQ1 低秩参数化能否在大幅减少参数数量的同时，仍保持深度序列模型的高性能？
• RQ2 低秩加对角分解是否相较于标准低秩或全秩矩阵，为循环网络提供了更优的归纳偏置？
• RQ3 当通过结构化矩阵分解减少参数数量时，网络的记忆容量能在多大程度上得以保留？
• RQ4 与现有的参数高效架构（如Highway Networks或ResNets）相比，该方法在准确率和效率方面表现如何？
• RQ5 该方法能否在具有挑战性的任务（如随机置换MNIST）上，以远低于标准模型的参数量实现具有竞争力的结果？

主要发现

• 参数量为254万的低秩加对角GRU在字符级语言建模任务上取得了2.76的测试困惑度，优于具有相似参数量的更大基线模型。
• 低秩加对角GRU的参数共享版本在仅254万参数下也达到了2.76的困惑度，证明了其在记忆容量效率方面的优势。
• 在顺序随机置换MNIST任务上，该方法取得了接近最先进水平的结果，表明其在困难的非马尔可夫性序列数据上具有强大的泛化能力。
• 即使在状态大小与秩的瓶颈比超过100:1的情况下，模型仍表现出色，表明低秩参数化能够保留有效的表征能力。
• 低秩加对角参数化优于标准低秩和全秩基线模型，尤其在低参数设置下表现更优，证明了其在参数高效学习中的有效性。
• 即使参数量显著减少（例如0.46M vs. 3.11M），低秩GRU仍能匹配基线模型2.92的困惑度，表明参数数量可大幅减少而性能不受影响。