[論文レビュー] A comparative study of approaches in user-centered health information retrieval

Harsh Thakkar, Ganesh Iyer+1 more|arXiv (Cornell University)|May 7, 2015

Biomedical Text Mining and Ontologies参考文献 19被引用数 4

ひとこと要約

この論文は、CLEF eHealth 2014 タスク3におけるユーザ中心のバイオメディカル情報検索システムを評価し、言語モデル（LM）とベクトル空間モデル（VSM）のアプローチを比較している。LMベースのシステムがVSMベースのシステムを顕著に上回り、MeSH や UMLS などの医療オントロジーを用いて、MAP 0.4146、P@10 0.7560、NDCG@10 0.7445 の最先端の性能を達成した。

ABSTRACT

In this paper, we survey various user-centered or context-based biomedical health information retrieval systems. We present and discuss the performance of systems submitted in CLEF eHealth 2014 Task 3 for this purpose. We classify and focus on comparing the two most prevalent retrieval models in biomedical information retrieval namely: Language Model (LM) and Vector Space Model (VSM). We also report on the effectiveness of using external medical resources and ontologies like MeSH, Metamap, UMLS, etc. We observed that the L.M. based retrieval systems outperform VSM based systems on various fronts. From the results we conclude that the state-of-art system scores for MAP was 0.4146, P@10 was 0.7560 and NDCG@10 was 0.7445, respectively. All of these score were reported by systems built on language modelling approaches.

研究の動機と目的

• CLEF eHealth 2014 タスク3におけるユーザ中心のバイオメディカル情報検索システムの評価と比較を行う。
• 健康情報検索における言語モデル（LM）とベクトル空間モデル（VSM）のアプローチの有効性を分析する。
• MeSH、Metamap、UMLS などの外部医療リソースおよびオントロジーが検索効果に与える影響を評価する。
• コンテキスト対応型健康情報検索における最先端のパフォーマンス指標を同定する。

提案手法

• 本研究は、CLEF eHealth 2014 タスク3に提出されたシステムを分析し、ユーザ中心およびコンテキストベースの検索アプローチに焦点を当てる。
• 主な検索モデル2つ、すなわち言語モデル（LM）とベクトル空間モデル（VSM）の分類と比較を行う。
• MeSH、Metamap、UMLS などの外部医療リソースが検索効果に与える貢献を評価する。
• 標準的な情報検索指標、すなわち平均平均適合度（MAP）、上位10件の適合度（P@10）、上位10件における正規化割引累積利得（NDCG@10）を用いてパフォーマンスを測定する。
• オントロジー統合がバイオメディカル検索におけるクエリ理解と結果の関連性をどのように向上させるかに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 ユーザ中心の健康情報検索タスクにおいて、言語モデル（LM）とベクトル空間モデル（VSM）のアプローチは、性能面でどのように比較されるか？
• RQ2 MeSH、UMLS、Metamap などの外部医療オントロジーは、バイオメディカル検索における検索効果をどの程度向上させるか？
• RQ3 CLEF eHealth 2014 タスク3における最先端のシステムが達成した最高のパフォーマンス指標（MAP、P@10、NDCG@10）は何か？
• RQ4 どの検索モデルアーキテクチャが、健康クエリの順序付き結果において最高の適合度と正規化利得を達成するか？

主な発見

• 言語モデル（LM）ベースのシステムは、すべての評価指標においてベクトル空間モデル（VSM）ベースのシステムを上回った。
• 最高のパフォーマンスを示したシステムは、平均平均適合度（MAP）0.4146を達成し、複数のクエリにおいて高い平均適合度を示した。
• トップシステムは、上位10件の適合度（P@10）0.7560を記録し、上位10件の検索結果の関連性が非常に高いことを示した。
• 上位10件における正規化割引累積利得（NDCG@10）は0.7445に達し、上位結果の順序付けの質が優れていることを示した。
• MeSH、UMLS、Metamap などの医療オントロジーの統合が、検索パフォーマンスの向上に顕著な貢献をした。
• 本研究は、LMベースのモデルが現在、ユーザ中心の健康情報検索における最先端のアプローチであることを確認した。