[论文解读] Kronecker Recurrent Units

Cijo Jose, Moustpaha Cisse+1 more|arXiv (Cornell University)|May 29, 2017

Neural Networks and Applications参考文献 25被引用 11

一句话总结

Kronecker Recurrent Units (KRU) 提出了一种参数高效的 RNN 架构，通过使用 Kronecker 分解的循环权重矩阵并施加软酉约束，以缓解梯度消失/爆炸问题。该方法将循环参数数量减少了高达三个数量级，同时在七个基准测试中保持或超越了最先进性能，表明高维隐藏状态可与低容量循环动态配对而不会造成性能损失。

ABSTRACT

Our work addresses two important issues with recurrent neural networks: (1) they are over-parameterized, and (2) the recurrence matrix is ill-conditioned. The former increases the sample complexity of learning and the training time. The latter causes the vanishing and exploding gradient problem. We present a flexible recurrent neural network model called Kronecker Recurrent Units (KRU). KRU achieves parameter efficiency in RNNs through a Kronecker factored recurrent matrix. It overcomes the ill-conditioning of the recurrent matrix by enforcing soft unitary constraints on the factors. Thanks to the small dimensionality of the factors, maintaining these constraints is computationally efficient. Our experimental results on seven standard data-sets reveal that KRU can reduce the number of parameters by three orders of magnitude in the recurrent weight matrix compared to the existing recurrent models, without trading the statistical performance. These results in particular show that while there are advantages in having a high dimensional recurrent space, the capacity of the recurrent part of the model can be dramatically reduced.

研究动机与目标

• 解决 RNN 中循环权重矩阵的过参数化和病态条件问题，这些问题会增加训练时间并导致梯度消失/爆炸。
• 克服严格酉 RNN 的局限性，后者限制了模型容量，并在真实数据上阻碍了泛化能力。
• 开发一种参数高效的 RNN 架构，在大幅减少循环参数数量的同时保持高性能。
• 通过 Kronecker 分解和软酉约束实现对模型容量的细粒度控制。
• 证明高维隐藏状态可与低容量循环动态配对而不会牺牲性能。

提出的方法

• 使用 Kronecker 积分解将循环权重矩阵分解为更小的低维因子，从而实现参数效率。
• 对 Kronecker 因子施加软酉约束，以稳定训练并防止梯度爆炸/消失。
• 通过正则化近似保持酉性质，避免全酉 RNN 所需的昂贵投影步骤。
• 利用 Kronecker 矩阵的谱特性，实现快速矩阵乘法和高效的梯度计算。
• 使用可微分的软约束，通过超参数调节单位性强度，平衡稳定性与表达能力。
• 将该方法应用于普通 RNN 和 LSTM，证明其在序列建模任务中的广泛适用性。

实验结果

研究问题

• RQ1 Kronecker 分解是否能在不损失性能的前提下，将 RNN 中的循环参数数量减少数个数量级？
• RQ2 在 Kronecker 因子上施加软酉约束是否能相比严格酉或未正则化的 RNN 提升训练稳定性和泛化能力？
• RQ3 当与高维隐藏状态配对时，低容量循环动态是否仍能实现最先进性能？
• RQ4 软酉约束的幅度如何影响不同序列建模任务中的模型性能？
• RQ5 在具有长期依赖性消失问题的真实数据集上，KRU 架构是否比严格酉 RNN 具有更好的泛化能力？

主要发现

• 与标准 RNN 相比，KRU 将循环权重矩阵中的参数数量减少了高达三个数量级，且未在统计性能上造成任何权衡。
• 在 JSB Chorales 数据集上，最佳验证性能在软酉约束幅度为 1e-2 时达到。
• 在 Piano-midi 数据集上，最优软酉约束幅度为 1e-1，表明约束强度对任务具有依赖性。
• 在 TIMIT 音素识别任务中，最佳错误率在约束幅度为 1e-5 时达到，更高值导致性能下降，表明存在过度正则化。
• 软酉约束提供了一种有原则的替代梯度裁剪的方法，在无需显式梯度裁剪的情况下改善了收敛性和泛化能力。
• 实验表明，高维隐藏状态可被低容量循环动态有效驱动，挑战了高循环容量对性能至关重要的假设。