[论文解读] Memory-based Parameter Adaptation

Pablo Sprechmann, Siddhant M. Jayakumar+8 more|arXiv (Cornell University)|Feb 28, 2018

Anomaly Detection Techniques and Applications被引用 26

一句话总结

基于记忆的参数自适应（MbPA）通过在记忆模块中存储输入-输出对，并利用基于上下文的检索在推理时局部调整网络权重，从而增强深度神经网络。这使得模型能够快速、稳定地适应新数据——尤其是罕见或分布外样本——在持续学习和语言建模任务中实现显著性能提升，例如在结合神经缓存时，WikiText-2 上的困惑度降低了 15.9 个点。

ABSTRACT

Deep neural networks have excelled on a wide range of problems, from vision to language and game playing. Neural networks very gradually incorporate information into weights as they process data, requiring very low learning rates. If the training distribution shifts, the network is slow to adapt, and when it does adapt, it typically performs badly on the training distribution before the shift. Our method, Memory-based Parameter Adaptation, stores examples in memory and then uses a context-based lookup to directly modify the weights of a neural network. Much higher learning rates can be used for this local adaptation, reneging the need for many iterations over similar data before good predictions can be made. As our method is memory-based, it alleviates several shortcomings of neural networks, such as catastrophic forgetting, fast, stable acquisition of new knowledge, learning with an imbalanced class labels, and fast learning during evaluation. We demonstrate this on a range of supervised tasks: large-scale image classification and language modelling.

研究动机与目标

• 解决深度神经网络在持续或增量学习过程中出现的灾难性遗忘和适应缓慢问题。
• 实现在无需微调的情况下，仅通过少量或罕见样本快速获取新知识。
• 改善在数据分布偏移情况下的性能表现，特别是在包含罕见或未登录词的语言建模任务中。
• 结合参数化模型的泛化能力与非参数记忆的快速、局部适应优势。
• 提供一种基于注意力式检索和贝叶斯解释的、有原则的、正则化的上下文参数自适应方法。

提出的方法

• 模型使用参数化神经网络（参数为 θ）实现泛化，同时通过非参数记忆模块（M）存储过去输入的键-值对（h_i, v_i）。
• 键 h_i 由输入 x_j 经学习的嵌入网络 f_γ 得到，值 v_i 为对应的目标 y_j（如类别标签或回归目标）。
• 在推理阶段，模型使用当前输入嵌入与存储键之间的欧氏距离，检索记忆中的 K 个最近邻。
• 检索到的上下文用于计算输出网络参数（θ）的局部、上下文相关更新，并在预测前应用该更新。
• 该更新是瞬时的：推理后更新被丢弃，从而保持长期泛化能力并避免过拟合。
• 该方法基于贝叶斯解释，通过不确定性感知的记忆检索实现有原则的正则化。

实验结果

研究问题

• RQ1 记忆增强的参数自适应是否能够实现对新类别的快速、稳定学习，且不产生灾难性遗忘？
• RQ2 MbPA 如何提升在数据分布偏移情况下的性能表现，特别是在包含罕见或未见词汇的语言建模任务中？
• RQ3 MbPA 在持续学习设置下是否能超越或补充现有方法（如弹性权重固化法 EWC 和神经缓存）？
• RQ4 使用非参数记忆是否能有效适应类别分布不平衡的情况？
• RQ5 MbPA 在低数据或少样本场景下，能在多大程度上提升泛化能力和性能表现？

主要发现

• 在 Penn Treebank 数据集上，MbPA 将 LSTM 基线的困惑度降低了 5.3 个点，优于仅使用神经缓存的 4.3 个点提升。
• 在 WikiText-2 上，MbPA 相较于 LSTM 基线实现了 9.9 个点的困惑度降低，当与神经缓存结合时，提升幅度达 16.5 个点。
• MbPA 与神经缓存的结合在 WikiText-2 上使测试困惑度降低了 15.9 个点，显著优于基线和先前的 SOTA 模型。
• MbPA 在语言建模中对罕见词汇的性能提升尤为显著，如图 8 所示的逐词分析结果所证实。
• 在图像分类任务中，MbPA 在 ImageNet 上实现了对之前未见过类别的快速适应，证明了其在少样本和长尾学习场景下的有效性。
• 该方法有效缓解了灾难性遗忘，并在训练期间某些类别代表性不足的不平衡数据上提升了性能。