[论文解读] Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data

Moonsu Han, Minki Kang+2 more|arXiv (Cornell University)|Mar 14, 2019

Topic Modeling参考文献 33被引用 4

一句话总结

该论文提出了一种端到端的强化学习模型——情景记忆阅读器（Episodic Memory Reader, EMR），通过选择性地存储和替换来自流式文本或视频数据的记忆条目，以最大化未来的问答准确率。通过学习记忆条目之间的相对重要性，并使用强化学习训练的策略网络，EMR在TriviaQA和TVQA数据集上显著优于基于规则和基线强化学习方法，在长上下文、内存受限的问答场景中表现出卓越性能。

ABSTRACT

We consider a novel question answering (QA) task where the machine needs to read from large streaming data (long documents or videos) without knowing when the questions will be given, which is difficult to solve with existing QA methods due to their lack of scalability. To tackle this problem, we propose a novel end-to-end deep network model for reading comprehension, which we refer to as Episodic Memory Reader (EMR) that sequentially reads the input contexts into an external memory, while replacing memories that are less important for answering \emph{unseen} questions. Specifically, we train an RL agent to replace a memory entry when the memory is full, in order to maximize its QA accuracy at a future timepoint, while encoding the external memory using either the GRU or the Transformer architecture to learn representations that considers relative importance between the memory entries. We validate our model on a synthetic dataset (bAbI) as well as real-world large-scale textual QA (TriviaQA) and video QA (TVQA) datasets, on which it achieves significant improvements over rule-based memory scheduling policies or an RL-based baseline that independently learns the query-specific importance of each memory.

研究动机与目标

• 解决上下文超过内存容量且问题在处理后才到达的流式数据问答挑战。
• 克服现有问答模型需将所有上下文存储在内存中、无法处理长期序列输入的局限性。
• 开发一种记忆增强网络，学习优先保留对未来问答任务最有信息量的上下文。
• 训练一个强化学习智能体，基于条目之间的相对重要性来调度记忆替换，以最大化未来的问答准确率。
• 在内存受限条件下，于真实世界的大规模文本和视频问答数据集上验证模型性能。

提出的方法

• 使用外部情景记忆以顺序方式存储流式输入（文本或视频帧）的编码表示。
• 采用GRU或Transformer架构对记忆条目进行编码，并建模条目之间的相对重要性。
• 训练强化学习智能体，决定在内存已满时替换哪一条记忆条目，目标是最大化未来的问答准确率。
• 将记忆调度建模为一个序列决策问题，使用策略网络和价值网络，同时考虑查询相关性和句间重要性。
• 在TVQA上使用REINFORCE进行训练，因为视频帧具有高度冗余性，导致价值函数估计不稳定。
• 将记忆模块与问答头（例如用于视频问答的多流模型）集成，联合优化记忆选择与答案预测。

实验结果

研究问题

• RQ1 在不知道未来问题的情况下，记忆增强网络能否学会从流式数据中保留最具信息量的上下文？
• RQ2 与基于查询或独立重要性估计的方法相比，建模记忆条目之间的相对重要性在多大程度上提升了问答性能？
• RQ3 在推理阶段，EMR模型在未见过的记忆大小（尤其是长上下文场景）下，其泛化能力如何？
• RQ4 在捕捉记忆条目之间长距离依赖关系方面，使用Transformer进行记忆编码是否优于RNN？
• RQ5 与基于规则或基线强化学习方法相比，基于强化学习的记忆调度策略在真实世界问答任务中的有效性如何？

主要发现

• EMR在TriviaQA和TVQA上显著优于基于规则的记忆调度策略以及未建模相对重要性的强化学习基线模型。
• 在TVQA上，EMR-Transformer在内存大小较小时表现最佳，归因于其能够建模记忆条目之间的全局相对重要性。
• EMR各变体与基线模型之间的性能差距在内存较小时最为显著，表明其具备有效的选择性记忆能力。
• 即使在训练阶段未见过的内存大小（最高达60）上进行测试，EMR仍保持强劲性能，显示出良好的泛化能力。
• 定性分析表明，尽管无法预知未来问题，EMR仍能保留语义上关键的帧和字幕（如关键动作或对话内容）。
• 在TVQA上使用REINFORCE进行训练在处理冗余视频帧方面表现有效，而基于价值的方法因奖励信号不稳定而失效。