[论文解读] Label Organized Memory Augmented Neural Network.

Shiv Shankar, Sunita Sarawagi|arXiv (Cornell University)|Jul 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 29被引用 4

一句话总结

本文提出标签组织记忆网络（LMNs），一种通过类别标签作为键来组织记忆、仅对损失非零的样本进行写入并基于标签进行记忆替换的记忆增强神经网络。LMNs 在少样本学习和语言建模任务中实现了显著的准确率提升，在在线适应过程中的准确率和推理速度方面优于现有的MANNs和微调基线方法。

ABSTRACT

Augmenting a neural network with memory that can grow without growing the number of trained parameters is a recent powerful concept with many exciting applications. We propose a design of memory augmented neural networks (MANNs) called Labeled Memory Networks (LMNs) suited for tasks requiring online adaptation in classification models. LMNs organize the memory with classes as the primary key.The memory acts as a second boosted stage following a regular neural network thereby allowing the memory and the primary network to play complementary roles. Unlike existing MANNs that write to memory for every instance and use LRU based memory replacement, LMNs write only for instances with non-zero loss and use label-based memory replacement. We demonstrate significant accuracy gains on various tasks including word-modelling and few-shot learning. In this paper, we establish their potential in online adapting a batch trained neural network to domain-relevant labeled data at deployment time. We show that LMNs are better than other MANNs designed for meta-learning. We also found them to be more accurate and faster than state-of-the-art methods of retuning model parameters for adapting to domain-specific labeled data.

研究动机与目标

• 解决在无重训练参数的情况下，特别是在低数据量或领域分布偏移场景下，神经网络在线适应的挑战。
• 通过将类别标签作为主要键来组织记忆，提升记忆增强神经网络的效率和准确率。
• 通过仅对损失非零的样本进行写入，而非对每个输入都写入，从而减少内存写入开销。
• 设计一种基于标签频率而非LRU的内存替换策略，以提高相关性和领域特定知识的保留。
• 在不进行微调的情况下，利用与领域相关的带标签数据，实现对批量训练模型的有效部署时适应。

提出的方法

• LMNs 通过类别标签组织的记忆模块来增强预训练神经网络，其中每个记忆键对应一个类别。
• 记忆模块充当第二阶段分类器，用于修正主网络的预测结果，从而在两者之间实现互补作用。
• 仅当样本损失非零时才进行记忆写入，减少不必要的更新，提升内存效率。
• 基于标签频率执行内存替换，优先保留低频或高损失类别。
• 在推理过程中整合记忆检索与预测，实现在部署阶段对新领域特定数据的动态适应。
• 该架构支持主网络与记忆模块的端到端训练，且记忆访问与更新机制具有可微性。

实验结果

研究问题

• RQ1 通过类别标签组织记忆是否能提升记忆增强神经网络在在线适应任务中的效率与准确率？
• RQ2 仅对损失非零的样本进行内存写入，是否相比对所有输入都写入，能带来更好的内存利用率和性能表现？
• RQ3 基于标签的内存替换策略是否能优于基于LRU的替换策略，更好地保留相关且领域特定的知识？
• RQ4 LMN在少样本学习和语言建模任务中，与基于元学习的MANNs及参数微调方法相比表现如何？
• RQ5 在适应新领域时，LMN是否能实现比最先进微调方法更快的推理速度和更高的准确率？

主要发现

• 与标准MANNs相比，LMNs在语言建模和少样本学习基准上实现了显著的准确率提升。
• 在在线适应过程中，LMNs在准确率和推理速度方面均优于现有用于元学习的MANNs。
• 在适应领域相关带标签数据方面，LMNs相比最先进参数微调方法表现出更优性能。
• 通过仅对损失非零的样本进行写入，LMNs降低了内存写入开销，提升了训练效率。
• 基于标签的内存替换策略显著提升了对相关类别特定知识的保留，尤其在低数据场景下表现更优。
• LMNs 实现了对批量训练模型的有效部署时适应，无需重训练，同时保持高准确率和低延迟。