[论文解读] Reasoning with Memory Augmented Neural Networks for Language Comprehension

Tsendsuren Munkhdalai, Hong Yu|arXiv (Cornell University)|Oct 20, 2016

Topic Modeling被引用 8

一句话总结

本文提出了一种记忆增强型神经网络（NSE）框架，通过动态推理循环迭代地细化和测试假设，模拟人类在语言理解中的假设检验过程。该模型在CBT和WDW的填空式问答基准测试中取得了最先进（SOTA）的结果，通过自适应计算和由终止头引导的停止机制，相较于先前方法准确率提升了1.2%至2.6%。

ABSTRACT

Hypothesis testing is an important cognitive process that supports human reasoning. In this paper, we introduce a computational hypothesis testing approach based on memory augmented neural networks. Our approach involves a hypothesis testing loop that reconsiders and progressively refines a previously formed hypothesis in order to generate new hypotheses to test. We apply the proposed approach to language comprehension task by using Neural Semantic Encoders (NSE). Our NSE models achieve the state-of-the-art results showing an absolute improvement of 1.2% to 2.6% accuracy over previous results obtained by single and ensemble systems on standard machine comprehension benchmarks such as the Children's Book Test (CBT) and Who-Did-What (WDW) news article datasets.

研究动机与目标

• 开发一种受认知启发的推理框架，模拟人类假设检验过程以提升语言理解能力。
• 通过支持可变计算步数的动态自适应推理，解决固定步数多步模型的局限性。
• 通过迭代式假设细化与验证，提升填空式问答任务的性能。
• 设计一种支持选择性内存访问、组合操作及推理过程中可控停止的记忆增强架构。
• 展示端到端反向传播训练结合停止策略在序列转换任务中的有效性。

提出的方法

• 该模型采用假设-检验循环，每一步通过回归查询生成新假设，并在文档上下文中进行测试。
• 神经语义编码器（NSE）架构包含读取、组合与写入模块，可操作外部记忆，并支持共享及多重内存访问。
• 引入两种停止策略：查询门控（防止关键查询词被内存覆盖）与自适应计算（通过概率终止头实现）。
• 自适应计算模型使用终止头决定何时停止推理，实现无需固定步数的可变长度推理。
• 模型通过标准反向传播进行端到端训练，且可扩展至强化学习（如REINFORCE）。
• 该架构通过支持多轮假设迭代实现灵活推理，记忆锁定作为基线对比。

实验结果

研究问题

• RQ1 具备动态假设-检验循环的记忆增强型神经网络是否能超越固定步数模型，在机器理解任务中表现更优？
• RQ2 具有可学习停止机制的自适应计算在填空式问答任务中的性能影响如何？
• RQ3 查询门控是否能防止在迭代推理过程中关键查询信息的灾难性遗忘？
• RQ4 与固定大步数模型相比，所提出的推理循环在多大程度上减少了过拟合？
• RQ5 NSE模型是否能在不使用集成方法的情况下，在CBT和WDW等标准基准测试中实现最先进性能？

主要发现

• 采用自适应计算的NSE模型在CBT-NE任务上达到73.2%的新最先进准确率，较之前模型提升1.2%。
• 在CBT-CN任务上，NSE模型准确率相比先前结果提升2.6%，人类与机器性能差距缩小至9.6%。
• NSE查询门控模型在CBT-NE上达到72.6%准确率，在CBT-CN上达到72.0%，最优性能出现在T=9步时。
• T=12步的模型表现出更强鲁棒性与更高测试准确率，表明自适应计算相比固定大T值能有效减少过拟合。
• NSE自适应计算模型在CBT-NE上较斯坦福注意力阅读器提升2.2%，在CBT-CN上提升1.7%，在四项任务中的三项达到新SOTA。
• 当T=15时，过拟合现象显著加剧（CBT-NE验证集准确率79.2%，测试集71.4%），证实自适应停止机制相比固定大计算步数更具优势。