[论文解读] Learning What to Remember: Long-term Episodic Memory Networks for Learning from Streaming Data

Hyunwoo Jung, Moonsu Han+2 more|arXiv (Cornell University)|Dec 11, 2018

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出长时记忆网络（LEMN），一种基于强化学习的记忆管理框架，通过评估记忆条目的相对重要性和历史重要性，学习在流式数据中选择性保留重要条目。LEMN在路径查找、情景问答和长文本问答任务中，通过动态管理记忆以保留长期有用信息，优于基于规则和基线强化学习方法。

ABSTRACT

Current generation of memory-augmented neural networks has limited scalability as they cannot efficiently process data that are too large to fit in the external memory storage. One example of this is lifelong learning scenario where the model receives unlimited length of data stream as an input which contains vast majority of uninformative entries. We tackle this problem by proposing a memory network fit for long-term lifelong learning scenario, which we refer to as Long-term Episodic Memory Networks (LEMN), that features a RNN-based retention agent that learns to replace less important memory entries based on the retention probability generated on each entry that is learned to identify data instances of generic importance relative to other memory entries, as well as its historical importance. Such learning of retention agent allows our long-term episodic memory network to retain memory entries of generic importance for a given task. We validate our model on a path-finding task as well as synthetic and real question answering tasks, on which our model achieves significant improvements over the memory augmented networks with rule-based memory scheduling as well as an RL-based baseline that does not consider relative or historical importance of the memory.

研究动机与目标

• 解决在处理大规模连续数据流时，记忆增强网络面临的可扩展性挑战。
• 通过学习在终身学习场景中淘汰不重要的条目，克服固定容量记忆的局限性。
• 开发一种同时考虑记忆条目之间相对重要性及其历史重要性的保留机制。
• 在不依赖未来任务先验知识的前提下，实现高效的长期记忆管理。
• 通过保留语义关键信息，提升顺序推理和长上下文推理任务的性能。

提出的方法

• 引入一种基于时空RNN的保留智能体，用于计算每个记忆条目的保留概率。
• 通过强化学习训练保留智能体，通过决定淘汰哪些条目来最大化未来任务性能。
• 使用基于内容的寻址机制，从固定大小为N的外部记忆模块中读取和写入数据。
• 将保留智能体与基础网络（如BiDAF）集成，以处理顺序输入并选择性地更新记忆。
• 基于当前相关性与历史重要性计算保留分数，实现长期记忆的保留。
• 通过逐步处理序列，仅在必要时更新记忆，将模型应用于流式数据。

实验结果

研究问题

• RQ1 强化学习智能体是否能在无先验任务知识的前提下，有效学习管理流式数据中的长期情景记忆？
• RQ2 与基于规则或非上下文强化学习方法相比，同时考虑记忆条目相对重要性和历史重要性是否能提升保留性能？
• RQ3 所提出的LEMN框架在长上下文推理任务（如问答和路径查找）中的表现如何？
• RQ4 该保留机制在长序列中对语义关键信息的保留程度如何？
• RQ5 该模型能否在具有不同记忆需求和数据流长度的多样化任务中实现泛化？

主要发现

• LEMN在所有任务上显著优于FIFO（先进先出）调度策略，在验证过的TriviaQA子集上达到45.21%的ExactMatch。
• ST-LEMN变体在TriviaQA的远距离监督数据集上达到49.04%的F1分数，超越所有基线方法。
• 在情景问答的Large任务中，IM-LEMN将错误率从FIFO的32.40降低至9.00，表现出强大的泛化能力。
• ST-LEMN模型在Noisy任务上达到3.90的错误率，优于次佳方法超过40%。
• 可视化结果证实，LEMN在记忆中保留了关键实体（如'Italy'），同时丢弃了无关句子。
• 消融实验表明，引入历史重要性可提升性能，证实时间上下文在保留决策中的价值。