[论文解读] MeSH Suggester: A Library and System for MeSH Term Suggestion for Systematic Review Boolean Query Construction

Shuai Wang, Hang Li+1 more|arXiv (Cornell University)|Dec 18, 2022

Biomedical Text Mining and Ontologies参考文献 23被引用 17

一句话总结

本论文介绍了 MeSH Suggester，一个用于系统性综述布尔查询的 MeSH 术语建议的 Python 库和网络系统，结合了词汇法（如 ATM、MetaMap）与神经网络方法（如 Atomic-BERT、Fragment-BERT、Semantic-BERT）。该系统通过使用微调的密集检索器提升了查询效果，其中神经方法在 CLEF 2017 和 2018 数据集上的表现优于词汇基线，F1 分数最高达到 0.0690。

ABSTRACT

Boolean query construction is often critical for medical systematic review literature search. To create an effective Boolean query, systematic review researchers typically spend weeks coming up with effective query terms and combinations. One challenge to creating an effective systematic review Boolean query is the selection of effective MeSH Terms to include in the query. In our previous work, we created neural MeSH term suggestion methods and compared them to state-of-the-art MeSH term suggestion methods. We found neural MeSH term suggestion methods to be highly effective. In this demonstration, we build upon our previous work by creating (1) a Web-based MeSH term suggestion prototype system that allows users to obtain suggestions from a number of underlying methods and (2) a Python library that implements ours and others' MeSH term suggestion methods and that is aimed at researchers who want to further investigate, create or deploy such type of methods. We describe the architecture of the web-based system and how to use it for the MeSH term suggestion task. For the Python library, we describe how the library can be used for advancing further research and experimentation, and we validate the results of the methods contained in the library on standard datasets. Our web-based prototype system is available at http://ielab-mesh-suggest.uqcloud.net, while our Python library is at https://github.com/ielab/meshsuggestlib.

研究动机与目标

• 为解决系统性综述布尔查询中选择有效 MeSH 术语的挑战，该过程耗时且需要专业知识。
• 开发一个可重用、可扩展的库与网络系统，支持成熟与创新的 MeSH 术语建议方法。
• 使用标准基准数据集验证神经方法与词汇方法在 MeSH 术语建议中的有效性。
• 降低研究人员在医学文献检索中实验与部署 MeSH 术语建议技术的门槛。

提出的方法

• 该系统实现了六种 MeSH 术语建议方法：三种词汇法（ATM、MetaMap、UMLS）与三种神经方法（Atomic-BERT、Fragment-BERT、Semantic-BERT）。
• 神经方法使用微调的双编码器模型对关键词与 MeSH 术语进行嵌入，实现基于密集向量相似度的排序。
• Fragment-BERT 在单个关键词嵌入上应用归一化的 CombSUM 排名融合，而 Semantic-BERT 则在融合前使用 word2vec 对相似关键词进行分组。
• 网络系统提供 API 与交互式前端，用户可输入自由文本查询，并从任意方法获取 MeSH 术语建议。
• Python 库支持模型推理、标准指标（P、R、F1）的评估，以及与 CLEF 2017 和 2018 等数据集的集成。
• 该库具有可扩展性，研究人员可通过在 NeuralSuggest 类中定义自定义搜索函数来实现新方法。

实验结果

研究问题

• RQ1 神经 MeSH 术语建议方法是否能在系统性综述查询构建中，表现出优于传统词汇方法（如 ATM 和 MetaMap）的效果？
• RQ2 在标准 MeSH 术语建议基准上，不同神经架构（如 Atomic-BERT 与 Semantic-BERT）在精确率、召回率与 F1 上的表现如何比较？
• RQ3 统一的 Python 库与网络界面在多大程度上能够简化 MeSH 术语建议方法的开发、评估与部署？
• RQ4 MeSH 术语建议方法的性能与信息专家手工构建的原始查询相比如何？
• RQ5 该系统是否能够支持研究人员灵活接入新模型或评估设置？

主要发现

• 神经方法，特别是 Fragment-BERT，在 CLEF 2018 数据集上取得了 0.0690 的最高 F1 分数，优于所有词汇基线。
• Semantic-BERT 在 CLEF 2018 上取得了 0.0526 的 F1 分数，证明了在建议前对关键词进行语义分组的优势。
• 表现最佳的神经方法（Fragment-BERT）在 CLEF 2018 上实现了 0.0388 的精确率与 0.8034 的召回率，显示出强大的检索效果。
• 所有神经方法的 F1 分数均与原始查询（CLEF 2018 上 F1 = 0.0415）相当或更优，表明其在自动化条件下表现强劲。
• 该库与网络系统功能完整且可扩展，支持模型检查点切换与新评估数据集的集成。
• 系统基于 ir_measures 构建的评估流水线支持可复现的基准测试，并为未来方法开发提供支持。