[论文解读] Efficient Orthogonal Parametrisation of Recurrent Neural Networks Using Householder Reflections

Zakaria Mhammedi, Andrew Hellicar+2 more|arXiv (Cornell University)|Dec 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 12被引用 32

一句话总结

该论文提出了一种新颖且高效的循环神经网络（RNN）转移矩阵参数化方法，利用豪斯多夫反射（Householder reflections）强制实现正交性，从而确保训练稳定且梯度不会爆炸。该方法的时间复杂度与标准RNN相当，在小批量设置下优于以往的正交参数化方法，并在字符级语言建模和序列复制任务上达到或超过当前最先进水平。

ABSTRACT

The problem of learning long-term dependencies in sequences using Recurrent Neural Networks (RNNs) is still a major challenge. Recent methods have been suggested to solve this problem by constraining the transition matrix to be unitary during training which ensures that its norm is equal to one and prevents exploding gradients. These methods either have limited expressiveness or scale poorly with the size of the network when compared with the simple RNN case, especially when using stochastic gradient descent with a small mini-batch size. Our contributions are as follows; we first show that constraining the transition matrix to be unitary is a special case of an orthogonal constraint. Then we present a new parametrisation of the transition matrix which allows efficient training of an RNN while ensuring that the matrix is always orthogonal. Our results show that the orthogonal constraint on the transition matrix applied through our parametrisation gives similar benefits to the unitary constraint, without the time complexity limitations.

研究动机与目标

• 解决RNN在学习序列数据中长期依赖关系时出现的梯度消失和梯度爆炸问题。
• 克服现有正交和酉RNN参数化方法的局限性，这些方法存在计算成本过高或表达能力有限的问题。
• 开发一种对RNN转移矩阵施加正交性约束的参数化方法，计算开销极小，尤其在小批量设置下表现优异。
• 证明通过豪斯多夫反射实现的正交约束可达到或超越酉RNN的性能，同时具备更高的可扩展性和效率。

提出的方法

• 将RNN转移矩阵参数化为豪斯多夫反射的乘积，通过构造确保其始终正交。
• 使用一组反射向量作为可学习参数，支持基于梯度的优化，同时保持正交性。
• 推导出关于豪斯多夫参数的精确反向传播公式，支持端到端训练。
• 设计一种高效算法，使每步的梯度更新计算时间复杂度为O(n²)，与标准RNN的复杂度一致。
• 将该参数化方法应用于字符级语言建模和序列复制任务，与LSTM和酉RNN基线模型进行比较。
• 采用U激活函数（保持范数）以提升在需要长期记忆的任务上的性能，尤其是在缺乏残差连接的情况下。

实验结果

研究问题

• RQ1 通过豪斯多夫反射实现的正交参数化能否在时间复杂度与标准RNN相当的情况下实现RNN的稳定训练？
• RQ2 所提出的正交RNN（oRNN）在长期依赖任务上的性能与酉RNN和LSTM相比如何？
• RQ3 在小批量SGD设置下，基于豪斯多夫的参数化方法是否比现有方法具有更好的可扩展性？
• RQ4 在学习长距离依赖关系时，激活函数对oRNN性能有何影响？
• RQ5 该方法能否推广到其他需要正交权重矩阵的深度神经网络架构中？

主要发现

• 所提出的oRNN在Penn Treebank数据集的一步预测任务上取得了1.68 bpc的测试交叉熵，与参数量相近的LSTM性能相当。
• 在五步预测任务上，oRNN取得了3.85 bpc的性能，与Pascanu等人（2013）报告的最先进结果3.74 bpc相当。
• oRNN优于先前采用软正交性和硬正交性约束的工作（Vorontsov等，2017），后者在数据子集上的最低测试代价为2.20 bpc。
• oRNN每步梯度更新的时间复杂度为O(n²)，与标准RNN一致，显著优于其他正交方法在小批量条件下O(BTn² + n³)的复杂度。
• 在使用U激活函数时，oRNN在复制任务上表现出具有竞争力的性能，尽管其性能仍低于使用ReLU类激活函数的酉RNN，表明网络架构差异具有重要影响。
• 该方法在小批量设置下（例如B=1）仍能实现高效训练，而其他正交参数化方法因计算复杂度过高而变得计算不可行。