[论文解读] Approximating Real-Time Recurrent Learning with Random Kronecker Factors

Asier Mujika, Florian Meier+1 more|arXiv (Cornell University)|May 28, 2018

Domain Adaptation and Few-Shot Learning被引用 19

一句话总结

本文提出 KF-RTRL，一种内存高效、无偏见的在线学习算法，利用克罗内克积分解来近似实时循环学习（RTRL）梯度。该方法实现了稳定、低噪声的梯度，并在长序列任务上达到与TBPTT相当的性能，为截断反向传播通过时间（TBPTT）提供了一种实用的替代方案。

ABSTRACT

Despite all the impressive advances of recurrent neural networks, sequential data is still in need of better modelling. Truncated backpropagation through time (TBPTT), the learning algorithm most widely used in practice, suffers from the truncation bias, which drastically limits its ability to learn long-term dependencies.The Real Time Recurrent Learning algorithm (RTRL) addresses this issue, but its high computational requirements make it infeasible in practice. The Unbiased Online Recurrent Optimization algorithm (UORO) approximates RTRL with a smaller runtime and memory cost, but with the disadvantage of obtaining noisy gradients that also limit its practical applicability. In this paper we propose the Kronecker Factored RTRL (KF-RTRL) algorithm that uses a Kronecker product decomposition to approximate the gradients for a large class of RNNs. We show that KF-RTRL is an unbiased and memory efficient online learning algorithm. Our theoretical analysis shows that, under reasonable assumptions, the noise introduced by our algorithm is not only stable over time but also asymptotically much smaller than the one of the UORO algorithm. We also confirm these theoretical results experimentally. Further, we show empirically that the KF-RTRL algorithm captures long-term dependencies and almost matches the performance of TBPTT on real world tasks by training Recurrent Highway Networks on a synthetic string memorization task and on the Penn TreeBank task, respectively. These results indicate that RTRL based approaches might be a promising future alternative to TBPTT.

研究动机与目标

• 解决精确 RTRL 的高计算成本和内存需求问题，尽管其能消除截断偏差，但这些限制了其实际应用。
• 克服现有 RTRL 近似方法 UORO 所存在的梯度噪声问题，该问题阻碍了稳定训练和性能表现。
• 开发一种内存高效的在线学习算法，在保持梯度无偏见的同时降低噪声，以实现更好的泛化能力。
• 在不依赖截断反向传播通过时间（TBPTT）的情况下，实现循环网络中长期依赖关系的有效学习。

提出的方法

• 对 RTRL 中的 Fisher 信息矩阵应用克罗内克积分解，将梯度计算近似为低秩更新。
• 通过结构化分解，在大幅降低存储和计算复杂度的同时，保持完整的梯度计算路径。
• 通过在每个新时间步增量式更新克罗内克因子，保持在线学习能力。
• 通过因子化近似保持精确 RTRL 更新方向，确保梯度无偏见。
• 通过克罗内克结构约束近似误差，控制梯度噪声，使噪声渐近小于 UORO。
• 将该方法集成到循环高速公路网络中，用于在序列建模基准上进行实证评估。

实验结果

研究问题

• RQ1 能否利用克罗内克分解创建一种内存高效且无偏见的 RTRL 梯度近似？
• RQ2 与 UORO 相比，所提出的 KF-RTRL 方法是否能减少梯度噪声，尤其是在长训练序列中？
• RQ3 KF-RTRL 是否能有效学习循环网络中的长期依赖关系，性能可与 TBPTT 相媲美？
• RQ4 KF-RTRL 在真实世界序列建模任务（如语言建模和合成记忆任务）中的表现如何？

主要发现

• KF-RTRL 实现了无偏见的梯度估计，在显著降低计算成本的同时保持了 RTRL 的理论正确性。
• 理论分析表明，KF-RTRL 的梯度噪声随时间推移渐近更小且更稳定，优于 UORO。
• 在合成字符串记忆任务中，KF-RTRL 有效捕捉了长期依赖关系，展示了其从长序列中学习的能力。
• 在 Penn TreeBank 语言建模任务中，KF-RTRL 的性能几乎与 TBPTT 相当，表明其具有强大的实际可行性。
• 与精确 RTRL 相比，KF-RTRL 显著降低了内存和运行时间需求，使大规模 RNN 的在线训练成为可能。
• 实证结果证实，理论上的噪声减少转化为比 UORO 更稳定、更有效的训练过程。