[論文レビュー] Evaluation of YTEX and MetaMap for clinical concept recognition

John D. Osborne, Binod Gyawali+1 more|arXiv (Cornell University)|Feb 7, 2014

Biomedical Text Mining and Ontologies参考文献 7被引用数 5

ひとこと要約

本研究では、2013年ShARe/CLEF eHealthタスクにおける臨床概念抽出の文脈で、YTEXとMetaMapを評価した。両システムはそのまま使用し、正確性と再現率を向上させるために後処理を施した。リラックスタスクではYTEXがFスコアで4.6%高い性能を示し、UMLS CUIマッピング精度も1.3%高い結果となった。一方、メタマップはルールベースの精錬後に優れた境界検出性能を示し、スレッドタスクでの正確性が優れていた。

ABSTRACT

We used MetaMap and YTEX as a basis for the construc- tion of two separate systems to participate in the 2013 ShARe/CLEF eHealth Task 1[9], the recognition of clinical concepts. No modifications were directly made to these systems, but output concepts were filtered using stop concepts, stop concept text and UMLS semantic type. Con- cept boundaries were also adjusted using a small collection of rules to increase precision on the strict task. Overall MetaMap had better per- formance than YTEX on the strict task, primarily due to a 20% perfor- mance improvement in precision. In the relaxed task YTEX had better performance in both precision and recall giving it an overall F-Score 4.6% higher than MetaMap on the test data. Our results also indicated a 1.3% higher accuracy for YTEX in UMLS CUI mapping.

研究の動機と目的

• 2013年ShARe/CLEF eHealthタスクの文脈において、市販の臨床概念抽出ツールYTEXとMetaMapを評価すること。
• メタマップのヒューリスティックベースの意味あいまい除去とYTEXのレスキューに基づく意味的類似度アプローチの相対的な強みと弱みを評価すること。
• 概念の境界を拡張し、低価値の概念をフィルタリングするルールベースの後処理により、概念抽出のパフォーマンスを向上させること。
• アノテーションガイドラインとデータの特性がシステム評価結果に与える影響を分析すること。
• 実世界の臨床情報抽出の文脈で、より優れたパフォーマンスを示すシステムを特定すること。

提案手法

• YTEX 0.8とMetaMap 2012を、コアアルゴリズムに直接変更を加えずにそのまま使用した。
• 両システムの出力を処理するUIMAベースのフレームワークを用い、同一のフィルタリングおよび後処理手順を適用した。
• 「疾患」「怪我」などのストップコンセプトおよび「マウス」「マウスたち」などのストップコンセプトテキストをフィルタリングし、誤検出を低減した。
• 「LA」「abd」「慢性」「下部」などの前件修飾語を含むルールベースの後処理により、概念境界を拡張した。
• 必要なUMLSセマンティックタイプに一致する概念のみを保持し、トレーニングデータおよびテストデータで評価を行った。
• CUIマッピングには2012AB UMLSリリースを使用し、両システムはデフォルトパラメータで実行した。

実験結果

リサーチクエスチョン

• RQ1 YTEXとMetaMapは、ShARe/CLEF eHealthタスクのスレッドタスクとリラックスタスクにおいて、正確性、再現率、Fスコアでどのように比較されるか？
• RQ2 ルールベースの境界拡張が、修飾語や省略語の文脈での概念抽出パフォーマンスに与える影響は何か？
• RQ3 意味あいまい除去戦略の選択（ヒューリスティックベース対分布的類似度）が、臨床テキストにおける正確性と再現率に与える影響は何か？
• RQ4 内容が類似しているにもかかわらず、PTLデータセットとShARe/CLEFテストセットの間でパフォーマンスの差が生じる理由は何か？
• RQ5 基礎モデルを変更せずに、後処理ルールがシステムパフォーマンスをどの程度向上させられるか？

主な発見

• スレッドタスクでは、メタマップが正確性で20%の向上を示し（0.722）、YTEX（0.512）を上回った。これによりFスコアは0.562（メタマップ）対0.473（YTEX）となった。
• リラックスタスクではYTEXがメタマップを上回り、Fスコアが4.6%高い（0.924 対 0.878）結果となった。これは部分的にマッピングされたアノテーションをよりうまく処理できたためである。
• UMLS CUIマッピング精度では、YTEXが1.3%高い（PTLデータで55.72%の正確性）が、メタマップは80.28%の正確性を示したが再現率は低かった。
• PTLデータセットはShARe/CLEFテストセットと比較して著しくパフォーマンスが低く、主にYTEXによる広範な概念マッピングを罰する厳しいアノテーションガイドラインによるものであった。
• 「LA」「abd」「MCA」などの省略語は一貫して誤認識されやすく、ルールベースの境界拡張によりこの誤差クラスが顕著に減少した。
• スレッドタスクでのパフォーマンスが低くても、YTEXは文脈的多義語語（例：「無力」「呼び出し」）を識別する能力に優れており、これがリラックスタスクでの優位性に寄与した。