[论文解读] CMU LiveMedQA at TREC 2017 LiveQA: A Consumer Health Question Answering System

Yang Yuan, Jingcheng Yu+3 more|arXiv (Cornell University)|Nov 15, 2017

Topic Modeling参考文献 7被引用 5

一句话总结

本论文介绍了LiveMedQA，这是卡内基梅隆大学（CMU）为TREC 2017年LiveQA医疗子任务开发的消费者健康问答系统。该系统采用基于深度学习的问题类型/关注点分类器、树状结构的医疗知识图谱，以及结构感知检索器来检索并排序答案，在4分制评分体系下的人工评估平均得分为0.356，低于中位数表现。

ABSTRACT

In this paper, we present LiveMedQA, a question answering system that is optimized for consumer health question. On top of the general QA system pipeline, we introduce several new features that aim to exploit domain-specific knowledge and entity structures for better performance. This includes a question type/focus analyzer based on deep text classification model, a tree-based knowledge graph for answer generation and a complementary structure-aware searcher for answer retrieval. LiveMedQA system is evaluated in the TREC 2017 LiveQA medical subtask, where it received an average score of 0.356 on a 3 point scale. Evaluation results revealed 3 substantial drawbacks in current LiveMedQA system, based on which we provide a detailed discussion and propose a few solutions that constitute the main focus of our subsequent work.

研究动机与目标

• 开发一个针对消费者健康咨询的专用问答系统，此类问题与通用领域问题存在显著差异。
• 通过利用医疗实体树和属性层次等领域特定知识结构，提升答案的准确性。
• 解决通用问答系统在处理复杂、多方面健康查询（尤其是药物相互作用或多实体查询）时的局限性。
• 通过错误分析与系统重构，识别并缓解医疗问答系统中的关键故障模式。

提出的方法

• 使用标注的开发数据集和公开数据集，训练一个卷积神经网络（CNN），以对问题类型进行分类并提取医疗实体关注点。
• 构建以实体为根、属性（如症状、治疗方式）为叶的树状结构医疗知识图谱，以保留医学概念的层次关系。
• 结构感知检索器结合正则表达式匹配与BM25检索技术，在知识图谱上进行检索，并为不同属性类型设置专用查找表。
• 从内部知识库和外部源（如Yahoo Answers、MedlinePlus Web Service）中检索候选答案，优先选择知识库结果。
• 答案生成通过混合检索策略，对来自多个来源的候选答案进行合并与重新排序。
• 系统在实时处理中，确保每个问题在60秒内生成少于1000个字符的答案，符合TREC LiveQA挑战的要求。

实验结果

研究问题

• RQ1 如何优化问答系统以应对涉及医疗实体及其属性的消费者健康问题？
• RQ2 具有层次结构的领域特定知识图谱在多大程度上能提升医疗问答中的答案检索与生成性能？
• RQ3 问题类型与实体关注点分类错误在多大程度上影响医疗问答系统的整体性能？
• RQ4 在处理涉及多实体查询（如药物相互作用）时，医疗问答系统的主要故障模式是什么？

主要发现

• LiveMedQA系统的平均人工评估得分为0.356（4分制量表），低于参与系统中位数得分0.552。
• 在问题类型/关注点分类模块中发现主要性能瓶颈，由于训练数据集小且不平衡，CNN模型存在过拟合和泛化能力差的问题。
• 系统在药物相关问题上表现显著较差，尤其是涉及药物相互作用、副作用或禁忌症的问题，原因在于其假设每个问题仅针对单一医疗实体。
• 知识库模块因BM25或硬匹配导致的错误匹配，以及在目标实体缺失时返回相似但错误的实体，引入了错误。
• 系统对单一实体的假设导致在涉及多个实体的复杂查询中持续出现失败，而这类查询在测试集中较为常见。
• 尽管存在上述缺陷，系统在疾病相关问题上表现良好，因为此类问题通常符合单一实体假设。