[论文解读] A Hybrid Citation Retrieval Algorithm for Evidence-based Clinical Knowledge Summarization: Combining Concept Extraction, Vector Similarity and Query Expansion for High Precision

Kalpana Raja, Andrew J. Sauer+3 more|arXiv (Cornell University)|Sep 6, 2016

Topic Modeling参考文献 1被引用 3

一句话总结

本文提出了一种混合引用检索系统，结合概念抽取、向量相似性与查询扩展，以提高在循证临床知识总结中检索相关医学引用的精确度。该系统在心力衰竭和心房颤动主题上的F-score分别达到41.2%和42.4%，显著优于基线方法，同时每主题可检索出多达18篇新的相关引用。

ABSTRACT

Novel information retrieval methods to identify citations relevant to a clinical topic can overcome the knowledge gap existing between the primary literature (MEDLINE) and online clinical knowledge resources such as UpToDate. Searching the MEDLINE database directly or with query expansion methods returns a large number of citations that are not relevant to the query. The current study presents a citation retrieval system that retrieves citations for evidence-based clinical knowledge summarization. This approach combines query expansion, concept-based screening algorithm, and concept-based vector similarity. We also propose an information extraction framework for automated concept (Population, Intervention, Comparison, and Disease) extraction. We evaluated our proposed system on all topics (as queries) available from UpToDate for two diseases, heart failure (HF) and atrial fibrillation (AFib). The system achieved an overall F-score of 41.2% on HF topics and 42.4% on AFib topics on a gold standard of citations available in UpToDate. This is significantly high when compared to a query-expansion based baseline (F-score of 1.3% on HF and 2.2% on AFib) and a system that uses query expansion with disease hyponyms and journal names, concept-based screening, and term-based vector similarity system (F-score of 37.5% on HF and 39.5% on AFib). Evaluating the system with top K relevant citations, where K is the number of citations in the gold standard achieved a much higher overall F-score of 69.9% on HF topics and 75.1% on AFib topics. In addition, the system retrieved up to 18 new relevant citations per topic when tested on ten HF and six AFib clinical topics.

研究动机与目标

• 弥合初级医学文献（MEDLINE）与临床知识资源（如UpToDate）之间的知识鸿沟。
• 减少直接从MEDLINE搜索或使用基础查询扩展所返回的大量无关引用。
• 提升循证临床知识总结中引用检索的精确度。
• 自动从临床查询中提取关键临床概念（人群、干预、对照、疾病）。
• 开发一种可扩展的混合检索框架，通过多阶段过滤与排序提升召回率与精确度。

提出的方法

• 使用信息抽取框架从临床查询中提取临床概念（PICO：人群、干预、对照、结局）。
• 通过同义词及相关术语进行查询扩展，以提升召回率而不降低精确度。
• 使用基于概念的向量相似性计算查询概念与引用摘要之间的语义相关性。
• 在混合排序模型中结合基于概念的筛选与基于术语的向量相似性。
• 通过概念相似性与向量相似性得分的加权融合对引用进行排序。
• 使用UpToDate提供的心力衰竭与心房颤动主题的黄金标准引用集评估系统性能。

实验结果

研究问题

• RQ1 结合概念抽取、查询扩展与向量相似性的混合检索系统是否能显著提升临床主题引用检索的精确度？
• RQ2 与传统基于关键词的方法相比，PICO概念抽取的整合如何提升检索性能？
• RQ3 在保持高精确度的前提下，查询扩展在多大程度上提升了临床引用检索的召回率？
• RQ4 在检索前K篇引用时，系统相对于黄金标准参考文献的表现如何？
• RQ5 该系统能否识别出现有临床知识资源中未包含的新颖相关引用？

主要发现

• 该系统在心力衰竭主题上的F-score为41.2%，在心房颤动主题上为42.4%，显著优于仅使用查询扩展的基线方法（分别为1.3%和2.2%的F-score）。
• 在检索前K篇引用（匹配黄金标准数量）时，系统在心力衰竭主题上的F-score达到69.9%，在心房颤动主题上达到75.1%，表明其在高优先级结果上表现优异。
• 该系统每主题最多检索出18篇未包含在UpToDate黄金标准中的新颖相关引用，证明其具备发现新证据的能力。
• 混合方法——结合基于概念的筛选与向量相似性——在心力衰竭主题上取得37.5%的F-score，在心房颤动主题上取得39.5%的F-score，相较于基线方法实现了逐步提升。
• 概念抽取与向量相似性的整合显著提升了精确度，相比仅使用关键词或仅使用扩展策略，显著减少了无关结果。
• 系统在多种临床主题上表现稳健，心力衰竭与心房颤动主题的F-score及前K篇检索准确率均保持一致提升。