[论文解读] ReasoNet: Learning to Stop Reading in Machine Comprehension

Yelong Shen, Po-Sen Huang+2 more|arXiv (Cornell University)|Sep 17, 2016

Topic Modeling参考文献 17被引用 76

一句话总结

该论文提出 ReasoNet，一种用于机器阅读理解的神经网络架构，通过在多轮推理过程中学习终止决策，动态决定何时停止阅读。采用基于实例的奖励基线进行深度强化学习，ReasoNet 在 SQuAD、CNN/Daily Mail 和结构化图可达性数据集上均优于先前方法，能够根据问题和文档的复杂度自适应调整推理深度。

ABSTRACT

Teaching a computer to read and answer general questions pertaining to a document is a challenging yet unsolved problem. In this paper, we describe a novel neural network architecture called the Reasoning Network (ReasoNet) for machine comprehension tasks. ReasoNets make use of multiple turns to effectively exploit and then reason over the relation among queries, documents, and answers. Different from previous approaches using a fixed number of turns during inference, ReasoNets introduce a termination state to relax this constraint on the reasoning depth. With the use of reinforcement learning, ReasoNets can dynamically determine whether to continue the comprehension process after digesting intermediate results, or to terminate reading when it concludes that existing information is adequate to produce an answer. ReasoNets have achieved exceptional performance in machine comprehension datasets, including unstructured CNN and Daily Mail datasets, the Stanford SQuAD dataset, and a structured Graph Reachability dataset.

研究动机与目标

• 解决现有机器阅读理解模型中固定深度推理的局限性，这些模型无法根据问题或文档的复杂度进行自适应调整。
• 通过基于中间信息学习何时终止理解过程，使神经网络能够模拟类人阅读行为。
• 开发一种可训练的动态推理深度机制，避免对简单案例过度处理或对复杂案例处理不足。
• 克服通过基于实例的基线进行强化学习训练离散终止门的挑战。
• 在包括非结构化和结构化数据集在内的多样化机器阅读理解基准上实现最先进性能。

提出的方法

• ReasoNet 采用多轮推理机制，模型在多轮中迭代关注文档和查询的不同部分，逐步完善理解。
• 在每个推理步骤中设置终止门，根据当前隐藏状态和中间推理结果预测是否继续或停止。
• 模型使用深度强化学习训练终止策略，奖励信号基于答案准确率，并采用基于实例的基线以降低方差。
• 最终答案从终止步骤的隐藏状态中预测，模型通过策略梯度方法进行端到端训练。
• 通过门控循环单元和注意力机制，将查询、文档和中间推理状态进行整合，以建模复杂依赖关系。
• 最大推理步数作为超参数设定，但实际使用步数由终止门动态决定。

实验结果

研究问题

• RQ1 神经网络能否基于输入复杂度，学习在机器阅读理解过程中动态决定何时停止阅读？
• RQ2 通过可学习的终止机制实现可变推理深度，是否能提升在多样化机器阅读理解任务上的性能？
• RQ3 使用基于实例的奖励基线，对具有离散决策门的模型训练稳定性与收敛性有何影响？
• RQ4 ReasoNet 的动态推理深度在多大程度上与问题和文档的内在难度相关？
• RQ5 ReasoNet 是否能泛化到非结构化（如 SQuAD、CNN/Daily Mail）和结构化（如图可达性）的阅读理解任务？

主要发现

• 在斯坦福 SQuAD 数据集上，ReasoNet 达到了最先进性能，在提交时位列公开测试集排行榜第二。
• 在 CNN/Daily Mail 数据集上，ReasoNet 超越了现有方法，展现出在非结构化新闻文章上的优越推理能力。
• 在结构化图可达性数据集中，ReasoNet 在小图集上达到 100% 准确率，在大图集上达到 78.95%，显示出在形式化推理任务中的强大泛化能力。
• 与 ReasoNet-Last 基线相比，ReasoNet 模型收敛速度显著更快——小图集为 20 个周期 vs. 40 个周期，大图集为 40 个周期 vs. 70 个周期，表明训练效率更高。
• 终止步数的分布覆盖多个轮次，小图集和大图集中分别有 16% 和 35% 的实例在最后一步终止，表明其对复杂度具有适应性。
• 观察到图中广度优先搜索（BFS）步数（路径长度）与 ReasoNet 使用的推理步数之间存在强相关性，证实模型能根据问题难度自适应调整推理深度。