[論文レビュー] MeSH Suggester: A Library and System for MeSH Term Suggestion for Systematic Review Boolean Query Construction

Shuai Wang, Hang Li+1 more|arXiv (Cornell University)|Dec 18, 2022

Biomedical Text Mining and Ontologies参考文献 23被引用数 17

ひとこと要約

この論文では、MeSH Suggester を紹介する。MeSH Suggester は、MeSH用語の提案を提供する Python ライブラリおよびウェブシステムであり、語彙的（例：ATM、MetaMap）およびニューラル手法（例：Atomic-BERT、Fragment-BERT、Semantic-BERT）を用いて、システマティックレビューのブール検索クエリにおける MeSH 用語の提案を実行する。このシステムは、微調整された密度的リtrieバーを活用することでクエリの有効性を向上させ、ニューラル手法は CLEF 2017 および 2018 データセットにおいて語彙的ベースラインを上回り、F1 スコア最大 0.0690 を達成した。

ABSTRACT

Boolean query construction is often critical for medical systematic review literature search. To create an effective Boolean query, systematic review researchers typically spend weeks coming up with effective query terms and combinations. One challenge to creating an effective systematic review Boolean query is the selection of effective MeSH Terms to include in the query. In our previous work, we created neural MeSH term suggestion methods and compared them to state-of-the-art MeSH term suggestion methods. We found neural MeSH term suggestion methods to be highly effective. In this demonstration, we build upon our previous work by creating (1) a Web-based MeSH term suggestion prototype system that allows users to obtain suggestions from a number of underlying methods and (2) a Python library that implements ours and others' MeSH term suggestion methods and that is aimed at researchers who want to further investigate, create or deploy such type of methods. We describe the architecture of the web-based system and how to use it for the MeSH term suggestion task. For the Python library, we describe how the library can be used for advancing further research and experimentation, and we validate the results of the methods contained in the library on standard datasets. Our web-based prototype system is available at http://ielab-mesh-suggest.uqcloud.net, while our Python library is at https://github.com/ielab/meshsuggestlib.

研究の動機と目的

• システマティックレビューのブールクエリにおける効果的な MeSH 用語の選定という課題に取り組むこと。これは時間のかかる作業であり、専門知識を要する。
• 既存の手法および新しい MeSH 用語提案手法をサポートする再利用可能で拡張可能なライブラリおよびウェブシステムの開発。
• 標準ベンチマークデータセットを用いて、ニューラル手法および語彙的手法の MeSH 用語提案における有効性の検証。
• 研究者が医療文献検索における MeSH 用語提案技術を実験的・実装的に利用しやすくするための障壁を低減すること。

提案手法

• システムは6種類の MeSH 用語提案手法を実装している：語彙的3種（ATM、MetaMap、UMLS）およびニューラル3種（Atomic-BERT、Fragment-BERT、Semantic-BERT）。
• ニューラル手法は、キーワードと MeSH 用語を埋め込むために微調整されたデュアルエンコーダーモデルを用い、密度的ベクトルの類似度に基づくランク付けを可能にする。
• Fragment-BERT は個々のキーワード埋め込みの正規化された CombSUM ランク融合を適用するが、Semantic-BERT は word2vec を用いて類似するキーワードをグループ化した後、融合処理を実行する。
• ウェブシステムは API とインタラクティブなフロントエンドを提供し、ユーザーが自由入力のクエリを入力すると、任意の手法による MeSH 用語の提案を受け取れる。
• Python ライブラリはモデル推論、標準指標（P、R、F1）を用いた評価、CLEF 2017 や 2018 などのデータセットとの統合をサポートする。
• ライブラリは拡張可能であり、研究者が NeuralSuggest クラス内でカスタム検索関数を定義することで、新しい手法を実装できる。

実験結果

リサーチクエスチョン

• RQ1 ニューラル MeSH 用語提案手法は、ATM や MetaMap などの従来の語彙的手法を上回る有効性を示すのか？
• RQ2 異なるニューラルアーキテクチャ（例：Atomic-BERT と Semantic-BERT）は、標準 MeSH 用語提案ベンチマークにおいて、精度、再現率、F1 スコアの観点でどのように比較されるのか？
• RQ3 統合された Python ライブラリおよびウェブインターフェースは、MeSH 用語提案手法の開発・評価・デプロイメントをどの程度簡素化できるのか？
• RQ4 情報専門家が作成したオリジナルのクエリと比較して、MeSH 用語提案手法の性能はどの程度か？
• RQ5 研究者が新しいモデルや評価設定を簡単に統合できるように、システムは拡張性を備えているか？

主な発見

• ニューラル手法、特に Fragment-BERT は、CLEF 2018 データセットで F1 スコア最大 0.0690 を達成し、すべての語彙的ベースラインを上回った。
• Semantic-BERT は CLEF 2018 で F1 スコア 0.0526 を達成し、提案前にキーワードの意味的グループ化が有効であることを示した。
• 最高性能を示したニューラル手法（Fragment-BERT）は、CLEF 2018 で精度 0.0388、再現率 0.8034 を達成し、優れたリトリーブ効果性を示した。
• すべてのニューラル手法が、オリジナルクエリ（CLEF 2018 で F1 = 0.0415）と同等またはそれ以上の F1 スコアを達成しており、自動化された手法としても高い性能を示した。
• ライブラリおよびウェブシステムは完全に機能し、拡張可能であり、モデルのチェックポイント切り替えや新しい評価データセットの統合をサポートしている。
• ir_measures を用いて構築された評価パイプラインにより、再現可能なベンチマーク評価が可能となり、今後の手法開発を支援する。