[论文解读] Multi-Mention Learning for Reading Comprehension with Neural Cascades

Swabha Swayamdipta, Ankur P. Parikh+1 more|arXiv (Cornell University)|Nov 2, 2017

Topic Modeling参考文献 23被引用 3

一句话总结

本文提出一种用于阅读理解的级联神经网络架构，通过使用轻量级前馈网络结合注意力机制，在长文档中聚合多个答案候选的提及。通过分层级联处理证据，该模型在 TriviaQA 上实现了最先进性能，优于复杂的循环神经网络模型，且在长上下文（尤其是超过 10,000 个 token 的场景）下显著更快。

ABSTRACT

Reading comprehension is a challenging task, especially when executed across longer or across multiple evidence documents, where the answer is likely to reoccur. Existing neural architectures typically do not scale to the entire evidence, and hence, resort to selecting a single passage in the document (either via truncation or other means), and carefully searching for the answer within that passage. However, in some cases, this strategy can be suboptimal, since by focusing on a specific passage, it becomes difficult to leverage multiple mentions of the same answer throughout the document. In this work, we take a different approach by constructing lightweight models that are combined in a cascade to find the answer. Each submodel consists only of feed-forward networks equipped with an attention mechanism, making it trivially parallelizable. We show that our approach can scale to approximately an order of magnitude larger evidence documents and can aggregate information at the representation level from multiple mentions of each answer candidate across the document. Empirically, our approach achieves state-of-the-art performance on both the Wikipedia and web domains of the TriviaQA dataset, outperforming more complex, recurrent architectures.

研究动机与目标

• 解决现有神经模型在处理长文档或多文档证据时的局限性，通过聚合同一答案的多个提及来整合信息。
• 克服循环架构（如 biLSTM）在应用于阅读理解中的长文档时效率低下和可扩展性差的问题。
• 设计一种能够有效利用整个 Wikipedia 或网页中的共指和分布式证据的模型，而非依赖截断的段落。
• 通过结合多个片段和上下文中的证据，提升在 TriviaQA 基准测试中的性能，尤其当答案未集中于单一片段时。
• 通过使用可并行化的前馈网络替代自回归 RNN，实现在长文档上的更快推理，尤其在长上下文场景中受益显著。

提出的方法

• 构建三级级联模型：第 1 级使用词嵌入的集合表示问题、候选跨度和局部上下文；第 2 级应用注意力机制，对齐问题词汇与跨度的上下文；第 3 级聚合同一答案候选的多个提及的表示。
• 采用多损失训练框架（Al-Rfou et al., 2016），所有子模型同时训练，梯度从高层流向低层，防止高层模型覆盖低层特征。
• 全程使用前馈网络，支持完全并行化，提升 GPU 利用效率，尤其有利于长文档处理。
• 使用问题嵌入、跨度嵌入和上下文嵌入的组合表示每个答案候选，并通过注意力机制聚焦于相关词汇。
• 在推理阶段，仅顶层分类器（第 3 级）生成最终预测，其基于多个提及的聚合表示。
• 采用端到端联合目标进行训练，鼓励每一层学习互补特征，提升模型鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 轻量级前馈网络与注意力机制构成的级联架构，是否能在长上下文阅读理解任务中超越复杂的循环神经网络模型？
• RQ2 在 Wikipedia 或网页等长篇证据中，聚合同一答案的多个提及是否能提升性能？
• RQ3 多损失训练策略是否能防止高层模型主导低层特征，从而保留早期阶段的有用表示？
• RQ4 当跨度本身模糊或脱离上下文时，模型在答案跨度周围上下文上的依赖程度如何？
• RQ5 与标准 biLSTM 方法相比，该模型在推理速度上如何随文档长度扩展？

主要发现

• 该模型在 TriviaQA 数据集的 Wikipedia 和网页两个领域均实现了最先进性能，优于更复杂的循环神经网络架构。
• 在长度为 10,000 个 token 的文档上，由于更好的 GPU 并行化，该模型比标准 biLSTM 快约 45 倍，展现出卓越的可扩展性。
• 在文档中聚合同一答案的多个提及显著提升了性能，尤其在正确答案出现在多个非相邻跨度时表现明显。
• 模型成功避免了在答案错误时选择最频繁的实体（如 'Doctor Who'），表明聚合机制有助于解决歧义。
• 低层模型（第 1 和第 2 级）常将正确答案列在候选前列，但仅顶层聚合模型（第 3 级）能一致地选择正确答案，证明多提及聚合的价值。
• 尽管性能优异，该模型在实体类型混淆方面仍存在困难（如将 'Doctor Who' 误认为 'Davros'），表明其在共指和语义消歧方面仍存在局限。