[论文解读] HEAD-QA: A Healthcare Dataset for Complex Reasoning

David Vilares, Carlos Gómez‐Rodríguez|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 19被引用 6

一句话总结

HEAD-QA 是一个基于西班牙语医疗专业考试的多语言（西班牙语和英语）多选题问答数据集，旨在测试医学、药理学和心理学等专业领域中的复杂推理能力。尽管采用了最先进神经模型，其性能仍显著落后于人类基准，凸显了其作为推动医疗问答系统推理能力发展的高挑战性基准的实用价值。

ABSTRACT

We present HEAD-QA, a multi-choice question answering testbed to encourage research on complex reasoning. The questions come from exams to access a specialized position in the Spanish healthcare system, and are challenging even for highly specialized humans. We then consider monolingual (Spanish) and cross-lingual (to English) experiments with information retrieval and neural techniques. We show that: (i) HEAD-QA challenges current methods, and (ii) the results lag well behind human performance, demonstrating its usefulness as a benchmark for future work.

研究动机与目标

• 解决医学和医疗等专业领域中缺乏复杂、知识密集型问答数据集的问题。
• 创建一个需要深度领域知识和推理能力的基准，超越现有数据集中常见的表层理解任务。
• 评估神经网络和信息检索模型在反映真实医疗专业能力和推理需求的数据集上的表现。
• 展示当前神经网络模型在处理复杂、研究生水平的医学问题时的局限性，即使采用先进架构也是如此。
• 通过提供一个具有挑战性且贴近现实的医疗问答数据集，激励未来在医疗问答系统中有效信息抽取与推理方面的研究。

提出的方法

• 该数据集源自2013年至今的官方西班牙国家医疗专业资格考试，涵盖医学、护理学、药理学、生物学、心理学和化学领域。
• 题目为多选题，每道题有四个选项，要求具备专业领域知识和推理能力——部分题目包含基于图像的推理，但这些在初步实验中被排除。
• 数据集以西班牙语（head-qa）和英语（head-qa-en）两种语言提供，翻译经人工校对以确保准确性。
• 实验在无监督和有监督设置下进行，采用基于检索的模型（如 IR、BIDAF、DGE-M）和神经网络架构。
• 性能通过精确匹配（exact match）和 F1 分数进行评估，并将人类表现与 2016 年官方考试成绩进行对比。
• 研究对比了神经网络模型（如 BIDAF、DGE-M）与基于检索的基线模型（如 IR、基于长度的模型、盲选 3）在多个领域和语言上的表现。

实验结果

研究问题

• RQ1 当前的神经网络问答模型能否有效处理来自专业医疗领域中的复杂、知识密集型问题？
• RQ2 在 HEAD-QA 上的表现与人类在相同医学考试中的表现相比如何？
• RQ3 基于检索的基线模型在该复杂推理基准上有多大程度上优于神经网络模型？
• RQ4 从西班牙语到英语的跨语言迁移是否能提升模型在该数据集上的表现？
• RQ5 较短的问题（如生物学）是否比更长、更复杂的问题（如医学）更容易回答，这种差异是否与模型表现相关？

主要发现

• 在有监督设置下，BIDAF 和 DGE-M 等神经网络模型的平均准确率分别为 30.3% 和 30.6%，远低于人类表现。
• 表现最佳的模型是基于信息检索的 IR 系统，其在英语版本上达到 37.2% 的准确率，在西班牙语版本上达到 35.2%。
• 医学（mir）和护理学（eir）题目最具挑战性，平均准确率低于 27%，原因在于题目和答案更长。
• 药理学（fir）和生物学（bir）题目的模型表现最高（分别为 30.1% 和 30.5%），这与题目和答案长度较短有关。
• 人类在 2016 年考试中的平均分为 570.5 分（满分 1000 分），而表现最佳的模型（英语版 IR）仅得 111.8 分，表明推理能力存在巨大差距。
• 从西班牙语到英语的跨语言迁移提升了性能，IR 模型在英语中得分为 111.8 分，在西班牙语中为 93.2 分，表明在目标语言中泛化能力更强。