[论文解读] Medical Exam Question Answering with Large-scale Reading Comprehension

Xiao Zhang, Ji Wu+3 more|arXiv (Cornell University)|Feb 28, 2018

Topic Modeling被引用 16

一句话总结

本文提出了 MedQA，一个大规模的阅读理解任务，用于需要在大量临床文本上进行推理的医学考试题目。作者提出了 SeaReader，一种基于 LSTM 的端到端模型，采用双路径注意力机制，能够同时处理单个文档并整合跨文档信息，在 MedQA 上实现了最先进（SOTA）的准确率，并通过注意力可视化和门控机制实现了可解释的推理。

ABSTRACT

Reading and understanding text is one important component in computer aided diagnosis in clinical medicine, also being a major research problem in the field of NLP. In this work, we introduce a question-answering task called MedQA to study answering questions in clinical medicine using knowledge in a large-scale document collection. The aim of MedQA is to answer real-world questions with large-scale reading comprehension. We propose our solution SeaReader--a modular end-to-end reading comprehension model based on LSTM networks and dual-path attention architecture. The novel dual-path attention models information flow from two perspectives and has the ability to simultaneously read individual documents and integrate information across multiple documents. In experiments our SeaReader achieved a large increase in accuracy on MedQA over competing models. Additionally, we develop a series of novel techniques to demonstrate the interpretation of the question answering process in SeaReader.

研究动机与目标

• 通过真实的医学考试题目，开发一个面向临床医学的现实阅读理解基准。
• 通过阅读和推理大规模医学文本集合，解决回答复杂、知识密集型医学问题的挑战。
• 设计一种模块化、端到端的深度学习模型，能够处理弱监督和大规模文档输入。
• 通过新颖的基于注意力的推理可视化技术，提升医学问答 NLP 模型的可解释性。

提出的方法

• 提出 SeaReader，一种基于 LSTM 网络的端到端阅读理解模型，采用双路径注意力架构。
• 采用两条并行注意力路径：一条用于文档内注意力，从单个文档中提取相关信息；另一条用于文档间注意力，比较并整合多份文档的信息。
• 采用模块化设计，设置独立的文档门控层和词级门控层，实现可解释的注意力机制。
• 在词级注意力层应用噪声门控和 L21 正则化，以识别每个问题最相关的词语。
• 使用医学认证考试中的弱标签进行端到端训练，无需精确的答案跨度标注。
• 引入可解释推理技术，包括注意力可视化和门值分析，以解释模型决策过程。

实验结果

研究问题

• RQ1 深度学习模型能否通过阅读大规模临床文本，有效回答复杂、知识密集型的医学考试问题？
• RQ2 如何设计注意力机制，以同时从单个文档中提取信息并整合多份文档之间的知识？
• RQ3 在弱监督（如多项选择标签）条件下训练的模型，在医学问答任务中能在多大程度上实现高性能？
• RQ4 基于注意力的机制能否为医学问答模型的推理过程提供有意义且可解释的洞察？

主要发现

• 当每个候选答案提供 20 份文档时，SeaReader 在 MedQA 上实现了 57.8% 的 top-1 准确率，显著优于现有竞争模型。
• 双路径注意力机制带来了显著的性能提升，尤其在需要跨文档推理的复杂题型（如 A3/A4 类型）中表现突出。
• 随着输入文档数量增加（最多达 20 份），性能持续提升，即使在 top-20 中相关文档比例降至 29%，仍表现出强大的噪声信息过滤与利用能力。
• 可解释推理技术显示，即使在词汇重叠较低的情况下，模型仍能正确识别语义相关的文档，证明了其强大的信息检索能力。
• 结合 L21 正则化的词级注意力突出了逻辑连接词和诊断术语作为回答问题的最关键特征，与临床推理模式高度一致。
• SeaReader 的模块化架构在弱监督条件下，相比更深但非模块化的替代方案，实现了更快的收敛速度和更优的性能。