[论文解读] Development of an Extractive Clinical Question Answering Dataset with Multi-Answer and Multi-Focus Questions

Sungrim Moon, Huan He+2 more|arXiv (Cornell University)|Jan 7, 2022

Topic Modeling被引用 5

一句话总结

本文介绍了 RxWhyQA，这是一个基于 2018 年 n2c2 语料库构建的临床抽取式问答（EQA）数据集，包含 96,939 个 QA 条目，重点关注多答案和多焦点问题。该数据集利用药物-原因关系（1 对 N、M 对 1、M 对 N）来建模复杂且真实的临床查询，并表明多答案和多药物问题仍然具有挑战性，基线 F1 分数总体为 0.72，多答案问题为 0.43。

ABSTRACT

Background: Extractive question-answering (EQA) is a useful natural language processing (NLP) application for answering patient-specific questions by locating answers in their clinical notes. Realistic clinical EQA can have multiple answers to a single question and multiple focus points in one question, which are lacking in the existing datasets for development of artificial intelligence solutions. Objective: Create a dataset for developing and evaluating clinical EQA systems that can handle natural multi-answer and multi-focus questions. Methods: We leveraged the annotated relations from the 2018 National NLP Clinical Challenges (n2c2) corpus to generate an EQA dataset. Specifically, the 1-to-N, M-to-1, and M-to-N drug-reason relations were included to form the multi-answer and multi-focus QA entries, which represent more complex and natural challenges in addition to the basic one-drug-one-reason cases. A baseline solution was developed and tested on the dataset. Results: The derived RxWhyQA dataset contains 96,939 QA entries. Among the answerable questions, 25% require multiple answers, and 2% ask about multiple drugs within one question. There are frequent cues observed around the answers in the text, and 90% of the drug and reason terms occur within the same or an adjacent sentence. The baseline EQA solution achieved a best f1-measure of 0.72 on the entire dataset, and on specific subsets, it was: 0.93 on the unanswerable questions, 0.48 on single-drug questions versus 0.60 on multi-drug questions, 0.54 on the single-answer questions versus 0.43 on multi-answer questions. Discussion: The RxWhyQA dataset can be used to train and evaluate systems that need to handle multi-answer and multi-focus questions. Specifically, multi-answer EQA appears to be challenging and therefore warrants more investment in research.

研究动机与目标

• 解决缺乏包含多答案和多焦点问题的真实临床问答数据集的问题。
• 开发一个反映现实世界临床查询复杂性的数据集，特别是涉及多种药物或原因的查询。
• 支持能够处理细微、多方面的临床问题的 AI 系统的训练与评估。
• 通过建模病历笔记中的自然语言模式，提高抽取式问答系统在临床环境中的鲁棒性。
• 为评估多药物和多答案查询等挑战性问题类型的性能提供基准。

提出的方法

• 该数据集基于 2018 年 n2c2 临床 NLP 挑战赛语料库中的标注药物-原因关系构建。
• 使用 1 对 N、M 对 1 和 M 对 N 的药物-原因关系，生成具有多个答案或多个关注点的 QA 对。
• 问题的表述方式反映了自然的临床询问模式，包括关于多种药物或单一药物多种原因的查询。
• 从病历笔记中提取包含答案的文本片段，其精确度较高——90% 的药物和原因术语与答案位于同一句或相邻句子中。
• 使用标准指标（包括 F1 分数）在数据集上训练并评估了一个基线抽取式问答模型。
• 对数据集进行了可回答性和语言一致性的验证，确保 QA 对的相关性和准确性。

实验结果

研究问题

• RQ1 如何增强临床问答数据集，以反映现实世界临床实践中常见的多答案和多焦点问题？
• RQ2 在现实世界环境中，有多少比例的临床问题需要多个答案或多个药物焦点？
• RQ3 现有抽取式问答模型在复杂、多方面的临床问题上的表现，与在简单问题上的表现相比如何？
• RQ4 在多答案和多焦点临床问题中，答案周围的语言线索有哪些？
• RQ5 一个单一的问答系统能否以相近的性能有效处理单答案和多答案问题？

主要发现

• RxWhyQA 数据集包含 96,939 个 QA 条目，其中 25% 的可回答问题需要多个答案，2% 的问题在单个问题中询问多个药物。
• 90% 的药物和原因术语出现在与答案相同或相邻的句子中，表明存在强烈的局部上下文线索。
• 基线 EQA 模型在全数据集上的总体 F1 分数为 0.72，表明在复杂查询上的表现中等。
• 与单答案问题（F1 = 0.54）相比，多答案问题的性能显著下降（F1 = 0.43），凸显了多答案抽取的挑战。
• 模型在不可回答问题上的表现最佳（F1 = 0.93），表明其在检测不可回答查询方面能力较强。
• 多药物问题比单药物问题更具挑战性，F1 分数分别为 0.60 和 0.48，表明需要改进对多焦点查询的建模。