[论文解读] Mnemonic Reader: Machine Comprehension with Iterative Aligning and Multi-hop Answer Pointing

Minghao Hu, Yuxing Peng+1 more|arXiv (Cornell University)|May 8, 2017

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种增强记忆阅读器（Reinforced Mnemonic Reader），一种机器阅读理解模型，通过重注意力机制迭代优化文本中的注意力分布，并采用动态关键性强化学习方法提升答案预测性能。该模型在 SQuAD 数据集上达到最先进水平，在对抗性 SQuAD 数据集上，精确匹配（Exact Match）和 F1 分数均提升超过 6%。

ABSTRACT

In this paper, we introduce the Reinforced Mnemonic Reader for machine reading comprehension tasks, which enhances previous attentive readers in two aspects. First, a reattention mechanism is proposed to refine current attentions by directly accessing to past attentions that are temporally memorized in a multi-round alignment architecture, so as to avoid the problems of attention redundancy and attention deficiency. Second, a new optimization approach, called dynamic-critical reinforcement learning, is introduced to extend the standard supervised method. It always encourages to predict a more acceptable answer so as to address the convergence suppression problem occurred in traditional reinforcement learning algorithms. Extensive experiments on the Stanford Question Answering Dataset (SQuAD) show that our model achieves state-of-the-art results. Meanwhile, our model outperforms previous systems by over 6% in terms of both Exact Match and F1 metrics on two adversarial SQuAD datasets.

研究动机与目标

• 通过引入记忆增强的多轮对齐机制，解决现有注意力阅读模型中的注意力冗余与不足问题。
• 通过引入动态关键性优化策略，克服传统强化学习中的收敛抑制问题。
• 提升在复杂、多跳阅读理解任务中答案预测的鲁棒性。
• 在标准与对抗性 SQuAD 基准测试中实现最先进性能。

提出的方法

• 设计重注意力机制，通过直接访问存储在时间记忆模块中的历史注意力分布，对当前注意力进行优化。
• 采用多轮对齐架构，实现在多个推理步骤中对注意力分布的迭代优化。
• 引入动态关键性强化学习，通过聚焦于关键预测误差来引导策略优化，并提升收敛性。
• 将监督学习与强化学习相结合，策略更新基于奖励塑造，强调更可接受的答案。
• 通过记忆增强的循环结构更新注意力机制，以保留并重用历史注意力模式。
• 训练目标结合监督监督与奖励信号，鼓励正确且鲁棒的答案定位。

实验结果

研究问题

• RQ1 如何通过迭代注意力优化减少阅读理解模型中的冗余与不足？
• RQ2 动态关键性强化学习是否能提升基于策略的答案预测中的收敛性与鲁棒性？
• RQ3 所提模型在标准与对抗性 SQuAD 基准测试中相较于现有方法的性能提升程度如何？
• RQ4 重注意力机制在捕捉多轮推理步骤中的长距离依赖关系方面效果如何？

主要发现

• 该模型在标准 SQuAD 数据集上达到最先进性能，优于先前方法。
• 在两个对抗性 SQuAD 数据集上，与先前系统相比，该模型在精确匹配（Exact Match）和 F1 分数上均提升超过 6%。
• 动态关键性强化学习方法成功缓解了标准强化学习在机器阅读任务中常见的收敛抑制问题。
• 重注意力机制通过迭代优化注意力分布，有效减少了注意力冗余与不足。
• 该模型在对抗性样本上表现出强鲁棒性，表明其泛化能力超越标准基准测试。
• 记忆增强注意力与强化学习的结合，显著提升了多跳推理任务中答案定位的准确性和可靠性。