[论文解读] A Unified Framework of Online Learning Algorithms for Training Recurrent Neural Networks

Owen Marschall, Kyunghyun Cho+1 more|arXiv (Cornell University)|Jul 4, 2019

Machine Learning and ELM被引用 24

一句话总结

本文提出一个统一框架，用于分类和分析用于训练循环神经网络（RNNs）的在线学习算法，该框架从四个维度对算法进行组织：面向过去/未来的方向、影响矩阵的张量结构、随机/确定性更新，以及闭式解/数值解。该框架揭示了不同算法之间的概念关联，并表明与精确方法（如RTRL或BPTT）的梯度对齐并不能完全预测性能，尤其是在随机算法中，这凸显了需要超越成对梯度相似性的更优评估指标。

ABSTRACT

We present a framework for compactly summarizing many recent results in efficient and/or biologically plausible online training of recurrent neural networks (RNN). The framework organizes algorithms according to several criteria: (a) past vs. future facing, (b) tensor structure, (c) stochastic vs. deterministic, and (d) closed form vs. numerical. These axes reveal latent conceptual connections among several recent advances in online learning. Furthermore, we provide novel mathematical intuitions for their degree of success. Testing various algorithms on two synthetic tasks shows that performances cluster according to our criteria. Although a similar clustering is also observed for gradient alignment, alignment with exact methods does not alone explain ultimate performance, especially for stochastic algorithms. This suggests the need for better comparison metrics.

研究动机与目标

• 为在线RNN训练算法提供一个系统化、概念清晰的分类与比较框架。
• 澄清近年来在线RNN训练方法之间存在的概念差异，这些方法虽大量涌现却缺乏统一的分类体系。
• 探究为何某些算法在与精确方法（如RTRL或BPTT）的梯度对齐较弱的情况下仍能表现出色。
• 挑战一种假设，即在线RNN训练中高性能必须依赖于与精确算法的强梯度对齐。
• 识别当前评估指标的局限性，并倡导采用基于轨迹的比较方法，而非基于时间点的梯度对齐。

提出的方法

• 该框架沿四个轴对在线RNN训练算法进行分类：(a) 面向过去 vs. 面向未来，(b) 影响矩阵的张量结构，(c) 随机更新 vs. 确定性更新，(d) 闭式解 vs. 数值解。
• 采用张量分解方法表示梯度计算，从而实现对RTRL、UORO、KF-RTRL、DNI和KeRNL等算法的系统性比较。
• 在两个合成任务上进行实验评估，测量性能以及与精确方法（RTRL和F-BPTT）的梯度对齐程度。
• 通过成对的夹角对齐度量化梯度相似性，而性能则通过学习轨迹和最终损失进行评估。
• 该框架支持通过组合不同类别的特性来设计新算法，如第3.4节所示。
• 研究对比了确定性和随机近似方法，分析了误差平均如何在梯度对齐较差的情况下仍能促进收敛。

实验结果

研究问题

• RQ1 不同在线RNN训练算法在概念上如何关联？哪些变化轴可以统一其分类？
• RQ2 为何某些随机在线算法（如UORO和R-KF-RTRL）在与精确方法（如RTRL）的梯度对齐较弱的情况下仍能实现优异性能？
• RQ3 与精确算法（RTRL或BPTT）的梯度对齐在多大程度上能预测在线RNN训练中的最终学习性能？
• RQ4 为何像KeRNL这样的确定性近似方法，尽管与精确梯度对齐良好，仍表现不如随机方法？
• RQ5 基于时间点梯度对齐的当前评估指标存在哪些局限性？需要何种替代指标？

主要发现

• 算法在所提出的分类轴上呈现出有意义的聚类，面向过去的方法与RTRL对齐更强，而面向未来的方法与F-BPTT对齐更强，证实了该框架的概念一致性。
• 尽管与RTRL有强梯度对齐，KeRNL性能仍较差，表明对齐本身并不能完全预测性能，尤其对确定性近似方法而言。
• UORO和R-KF-RTRL在与RTRL的瞬时梯度对齐较弱的情况下仍能实现优异性能，表明时间上的误差平均可使收敛成为可能，即使估计值存在噪声。
• 随机算法（如UORO和R-KF-RTRL）即使在时间点上的对齐度较差，仍能保持高性能，因为其无偏估计在时间上平均后可抵消误差；而确定性近似方法的误差则持续存在。
• 该框架揭示，在线算法中的局部性通常只是近似方式的副产品，而非设计特征，而更优性能可能源于算法与架构的协同设计。
• 研究发现评估方面存在关键缺口：基于梯度对齐的当前指标无法捕捉长期学习轨迹的差异，因此亟需新型的、基于轨迹的比较方法。