[论文解读] A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning

Minghao Hu, Yuxing Peng+2 more|arXiv (Cornell University)|Aug 15, 2019

Topic Modeling参考文献 27被引用 7

一句话总结

本文提出多类型多跨度网络（MTMSN），一种神经阅读理解模型，通过多类型预测器支持多种答案类型——包括跨度、计数、算术表达式和逻辑否定——并利用一种跨度数量感知机制动态提取一个或多个非重叠跨度，同时采用算术表达式重排序模块以提升推理准确性。MTMSN在DROP隐藏测试集上达到新的最先进性能，F1得分为79.9。

ABSTRACT

Rapid progress has been made in the field of reading comprehension and question answering, where several systems have achieved human parity in some simplified settings. However, the performance of these models degrades significantly when they are applied to more realistic scenarios, such as answers involve various types, multiple text strings are correct answers, or discrete reasoning abilities are required. In this paper, we introduce the Multi-Type Multi-Span Network (MTMSN), a neural reading comprehension model that combines a multi-type answer predictor designed to support various answer types (e.g., span, count, negation, and arithmetic expression) with a multi-span extraction method for dynamically producing one or multiple text spans. In addition, an arithmetic expression reranking mechanism is proposed to rank expression candidates for further confirming the prediction. Experiments show that our model achieves 79.9 F1 on the DROP hidden test set, creating new state-of-the-art results. Source code\footnote{\url{https://github.com/huminghao16/MTMSN}} is released to facilitate future work.

研究动机与目标

• 为解决现有阅读理解模型在处理多样化答案类型、多跨度输出以及离散推理（如否定和算术运算）方面的局限性。
• 设计一种统一的神经网络架构，能够动态预测答案跨度的数量与内容，从而在复杂、多维度的问题上提升泛化能力。
• 通过引入上下文感知的表达式候选重排序机制，增强算术推理能力，减少错误的符号预测。
• 克服先前模型在孤立数字预测和固定单跨度输出方面的不足，尤其在真实、复杂的阅读理解场景中表现更优。

提出的方法

• 引入多类型答案预测器，联合预测包括跨度、计数、算术表达式和逻辑否定在内的多种答案类型，从而扩大对答案格式的覆盖范围。
• 采用多跨度抽取机制，动态确定答案数量并相应提取非重叠跨度，支持单答案与多答案两种情形。
• 模型使用预训练的Transformer编码器（如BERT）生成文本和问题的深度上下文表征。
• 引入算术表达式重排序机制，基于其上下文合理性评估并重新排序通过束搜索生成的表达式候选，提升最终预测的可靠性。
• 采用多任务损失函数端到端训练网络，整合各类答案类型的预测头与跨度抽取头。
• 在表达式生成阶段采用束搜索策略，并通过上下文感知评分对候选进行重排序，以过滤不合理的表达式。

实验结果

研究问题

• RQ1 统一的神经网络架构能否有效处理阅读理解任务中的多种答案类型，包括逻辑否定？
• RQ2 如何使模型动态预测并提取多个非重叠跨度，而非受限于单一跨度？
• RQ3 与孤立数字预测相比，对算术表达式候选进行上下文感知重排序是否能提升推理准确性？
• RQ4 在复杂的真实世界阅读理解基准（如DROP）上，支持逻辑否定与多跨度输出在多大程度上提升了性能？
• RQ5 MTMSN模型的各个组件对DROP数据集整体性能提升的贡献程度如何？

主要发现

• MTMSN在DROP隐藏测试集上取得79.9的F1得分，创下新SOTA，相比之前最佳方法绝对提升32.9个百分点。
• 在开发集上，MTMSN相比强基线BERT模型提升13.2 F1分，证明其组件设计的有效性。
• 消融实验表明，多类型预测、多跨度抽取与表达式重排序三个组件均对性能提升有显著贡献。
• 错误分析显示，38%的失败案例源于算术计算错误，凸显未来工作需进一步提升数值推理能力。
• 模型在各类答案类型上表现稳健，尤其在处理否定和多跨度问题方面相比先前模型有显著改进。
• 定性分析表明，MTMSN能成功解决需要排序、减法和否定的复杂问题，而此前模型常在这些任务上失败。