[论文解读] Continual Learning in Recurrent Neural Networks

Benjamin Ehret, Christian Henning+4 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 76被引用 13

一句话总结

本文首次对循环神经网络（RNNs）中的持续学习（CL）方法进行了全面评估，表明基于权重重要性的方法（如在线EWC）因高工作记忆需求导致可塑性降低，而非由于循环权重重用。研究发现，基于超网络的正则化方法在RNNs中优于权重重要性方法，确立了其在序列数据持续学习中的优越性。

ABSTRACT

While a diverse collection of continual learning (CL) methods has been proposed to prevent catastrophic forgetting, a thorough investigation of their effectiveness for processing sequential data with recurrent neural networks (RNNs) is lacking. Here, we provide the first comprehensive evaluation of established CL methods on a variety of sequential data benchmarks. Specifically, we shed light on the particularities that arise when applying weight-importance methods, such as elastic weight consolidation, to RNNs. In contrast to feedforward networks, RNNs iteratively reuse a shared set of weights and require working memory to process input samples. We show that the performance of weight-importance methods is not directly affected by the length of the processed sequences, but rather by high working memory requirements, which lead to an increased need for stability at the cost of decreased plasticity for learning subsequent tasks. We additionally provide theoretical arguments supporting this interpretation by studying linear RNNs. Our study shows that established CL methods can be successfully ported to the recurrent case, and that a recent regularization approach based on hypernetworks outperforms weight-importance methods, thus emerging as a promising candidate for CL in RNNs. Overall, we provide insights on the differences between CL in feedforward networks and RNNs, while guiding towards effective solutions to tackle CL on sequential data.

研究动机与目标

• 评估在序列数据上已建立的持续学习（CL）方法（尤其是基于权重重要性的方法）在循环神经网络（RNNs）中的表现。
• 探究为何基于权重重要性的方法（如弹性权重整合，EWC）在RNNs中表现不佳，尽管其在前馈网络中表现成功。
• 识别RNNs中性能下降的根本原因，区分循环权重重用与工作记忆需求的影响。
• 在标准化基准下，比较基于正则化的CL方法（包括超网络）在RNNs中的有效性。
• 为未来RNN持续学习研究提供可复现的代码库和适配的序列数据集。

提出的方法

• 将已建立的CL方法（特别是在线EWC和突触智能，SI）移植到RNNs中，用于在序列基准上进行评估。
• 采用在线EWC（EWC的记忆效率变体）通过费雪信息计算参数重要性，限制对关键权重的更新。
• 通过将任务身份作为额外输入（如独热编码）引入任务条件计算，以在RNNs中实现选择性处理。
• 使用多个序列任务的平均准确率评估性能，包括复制任务、序列笔画MNIST、AudioSet以及多语言词性标注任务。
• 对线性RNNs进行理论分析，以支持关于稳定性-可塑性权衡的实证发现。
• 基准测试一种基于超网络的正则化方法（HNET），该方法生成任务特定的权重，实现动态、任务感知的参数更新。

实验结果

研究问题

• RQ1 为何基于权重重要性的方法（如在线EWC）在RNNs中表现不佳，尽管其在前馈网络中表现成功？
• RQ2 RNNs中的性能下降是由于权重的循环重用（序列长度）还是高工作记忆需求所致？
• RQ3 任务条件计算能否提升RNNs中基于权重重要性方法的性能？
• RQ4 基于超网络的正则化方法与RNNs中基于权重重要性的方法相比，其在持续学习中的表现如何？
• RQ5 当在RNNs的序列数据中适当调优时，现有CL方法在多大程度上可作为强基线？

主要发现

• 基于权重重要性的方法在RNNs中的表现并非直接受序列长度影响，而是因高工作记忆需求导致稳定性增强，可塑性降低。
• 在m=2的序列分割-SMNIST任务中，当未提供任务身份作为输入时，在线EWC的最终准确率降至88.51%，而启用任务条件计算后提升至95.71%。
• 在AudioSet基准上，启用任务条件输入的在线EWC达到66.35%的最终准确率，而未启用时为65.56%，表明显式任务条件具有可测量的益处。
• 基于超网络的方法（HNET）在所有基准上均优于在线EWC，在复制任务中实现了95.78%的平均最终准确率，而在线EWC仅为68.41%。
• 对线性RNNs的理论分析支持实证发现：工作记忆需求（而非循环权重重用）是驱动RNNs中稳定性-可塑性权衡的根本原因。
• 尽管此前存在质疑，但当显式提供任务身份作为输入时，在线EWC在RNNs中仍是一个强大的基线，尤其在较简单的CL场景中。