[论文解读] A comparative study of approaches in user-centered health information retrieval

Harsh Thakkar, Ganesh Iyer+1 more|arXiv (Cornell University)|May 7, 2015

Biomedical Text Mining and Ontologies参考文献 19被引用 4

一句话总结

本文评估了在 CLEF eHealth 2014 任务 3 中的以用户为中心的生物医学信息检索系统，比较了语言模型（LM）与向量空间模型（VSM）方法。研究发现，基于语言模型的系统显著优于基于向量空间模型的系统，利用 MeSH 和 UMLS 等医学本体，取得了最先进的 MAP 0.4146、P@10 0.7560 和 NDCG@10 0.7445 的性能表现。

ABSTRACT

In this paper, we survey various user-centered or context-based biomedical health information retrieval systems. We present and discuss the performance of systems submitted in CLEF eHealth 2014 Task 3 for this purpose. We classify and focus on comparing the two most prevalent retrieval models in biomedical information retrieval namely: Language Model (LM) and Vector Space Model (VSM). We also report on the effectiveness of using external medical resources and ontologies like MeSH, Metamap, UMLS, etc. We observed that the L.M. based retrieval systems outperform VSM based systems on various fronts. From the results we conclude that the state-of-art system scores for MAP was 0.4146, P@10 was 0.7560 and NDCG@10 was 0.7445, respectively. All of these score were reported by systems built on language modelling approaches.

研究动机与目标

• 评估并比较 CLEF eHealth 2014 任务 3 中以用户为中心的生物医学信息检索系统。
• 分析语言模型（LM）与向量空间模型（VSM）方法在健康信息检索中的有效性。
• 评估外部医学资源与本体（如 MeSH、Metamap 和 UMLS）对检索性能的影响。
• 识别情境感知健康信息检索中的最先进性能指标。

提出的方法

• 本研究分析了提交至 CLEF eHealth 2014 任务 3 的系统，重点关注以用户为中心和基于情境的检索方法。
• 对两种主流检索模型——语言模型（LM）与向量空间模型（VSM）——进行分类与比较。
• 评估外部医学资源（包括 MeSH、Metamap 和 UMLS）对检索有效性贡献的影响。
• 使用标准信息检索指标衡量性能：平均平均精度（MAP）、前 10 项的精确率（P@10）以及前 10 项的归一化折损累积收益（NDCG@10）。
• 分析重点在于本体集成如何提升生物医学搜索中的查询理解与结果相关性。

实验结果

研究问题

• RQ1 在以用户为中心的健康信息检索任务中，语言模型（LM）与向量空间模型（VSM）方法在性能上如何比较？
• RQ2 外部医学本体（如 MeSH、UMLS 和 Metamap）在多大程度上提升了生物医学搜索中的检索有效性？
• RQ3 在 CLEF eHealth 2014 任务 3 中，最先进系统实现的最佳性能指标（MAP、P@10、NDCG@10）是什么？
• RQ4 哪种检索模型架构在健康查询的排序结果中实现了最高的精确率与归一化收益？

主要发现

• 基于语言模型（LM）的系统在所有评估指标上均优于基于向量空间模型（VSM）的系统。
• 表现最佳的系统实现了 0.4146 的平均平均精度（MAP），表明在多个查询中均具有较强的平均精度。
• 顶级系统在前 10 项检索结果中的精确率（P@10）达到 0.7560，反映出前 10 项结果的高相关性。
• 前 10 项的归一化折损累积收益（NDCG@10）达到 0.7445，表明前 10 项结果的排序质量优异。
• 整合医学本体（如 MeSH、UMLS 和 Metamap）显著提升了检索性能。
• 本研究证实，基于语言模型的模型目前是面向用户中心的健康信息检索的最先进方法。