[論文レビュー] Concept Extraction to Identify Adverse Drug Reactions in Medical Forums: A Comparison of Algorithms

Alejandro Metke‐Jimenez, Sarvnaz Karimi|arXiv (Cornell University)|Apr 27, 2015

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology参考文献 38被引用数 19

ひとこと要約

本研究では、患者が生成する医療フォーラムのテキストにおける有害な薬物反応（ADR）および薬物を特定するため、語彙ベースの手法から新規のCRFベースの機械学習モデルに至る、複数の概念抽出手法を評価している。提案されたCRF手法にOntoserver正規化を組み合わせた場合、MetaMapや他の手法と比較して顕著に優れており、特にリソースが限られた環境下でも、Cadecコーパスにおいて優れた正確性とF1スコアを示した。

ABSTRACT

Social media is becoming an increasingly important source of information to complement traditional pharmacovigilance methods. In order to identify signals of potential adverse drug reactions, it is necessary to first identify medical concepts in the social media text. Most of the existing studies use dictionary-based methods which are not evaluated independently from the overall signal detection task. We compare different approaches to automatically identify and normalise medical concepts in consumer reviews in medical forums. Specifically, we implement several dictionary-based methods popular in the relevant literature, as well as a method we suggest based on a state-of-the-art machine learning method for entity recognition. MetaMap, a popular biomedical concept extraction tool, is used as a baseline. Our evaluations were performed in a controlled setting on a common corpus which is a collection of medical forum posts annotated with concepts and linked to controlled vocabularies such as MedDRA and SNOMED CT. To our knowledge, our study is the first to systematically examine the effect of popular concept extraction methods in the area of signal detection for adverse reactions. We show that the choice of algorithm or controlled vocabulary has a significant impact on concept extraction, which will impact the overall signal detection process. We also show that our proposed machine learning approach significantly outperforms all the other methods in identification of both adverse reactions and drugs, even when trained with a relatively small set of annotated text.

研究の動機と目的

• ソーシャルメディアのテキストにおける有害な薬物反応（ADR）検出のための概念抽出手法を体系的かつ比較的に評価すること。
• アルゴリズムの選択および制御語彙（例：MedDRA、SNOMED CT、CHV）がADRシグナル検出性能に与える影響を評価すること。
• 制御語彙の選択が概念抽出性能に与える影響を評価すること。
• 将来的なADRマイニング研究のためのベンチマークを、Cadecコーパスを用いて提供すること。

提案手法

• 本研究では、UMLS、AMT、CHVを用いた語彙ベースの手法、MetaMap、および小規模なアノテート済みデータセットで学習したCRFベースのモデルを実装・比較した。
• 概念正規化は、Ontoserver、UMLS、AMT、CHVを用いて実施し、Cadecコーパスのゴールドスタンダードアノテーションと比較して評価した。
• 厳密なスパンマッチ、緩いマッチ（重複に基づく）、意味的距離を考慮した正規化評価の3段階評価フレームワークを採用した。
• F1、正確性、再現率の差を統計的に有意性検定で評価し、手法間の性能差を分析した。
• CRFモデルは、テキストスパンおよびその周囲の文脈からの特徴を用い、オントロジー構造に基づいた正規化意思決定を実施した。
• 評価指標には、正確なスパンマッチ、部分的重複（緩いマッチ）、意味的類似度を用い、正規化の正確性を評価した。

実験結果

リサーチクエスチョン

• RQ1 異なる概念抽出アルゴリズムは、患者フォーラムのテキストにおける有害な薬物反応および薬物の同定に、どのように性能を発揮するか？
• RQ2 制御語彙の選択（例：MedDRA、SNOMED CT、CHV）が概念抽出性能に与える影響は何か？
• RQ3 機械学習ベースのアプローチ（CRF）は、従来の語彙ベース手法やMetaMapを上回る性能を示すか？
• RQ4 厳密マッチ、緩いマッチ、意味的距離の3つの評価戦略は、概念抽出システムの性能評価にどのように影響を与えるか？

主な発見

• Ontoserver正規化を組み合わせたCRFベースのモデルは、概念同定においてF1スコア0.867を達成し、MetaMap（F1 = 0.814）およびすべての語彙ベース手法を顕著に上回った。
• CRFモデルは正確性0.988、再現率0.773を達成し、限られたトレーニングデータでも優れた性能を示した。
• CHVまたはUMLSを用いた語彙ベース手法は、いくつかの設定でF1スコアが0.000にとどまり、ノイズが多く不規則なテキストでは語彙ベース手法の限界が顕著に現れた。
• MetaMapは全体的に性能が低く、F1スコアは0.814にとどまり、大文字小文字の区別や綴りのばらつきにより、多くの薬物およびADRの記述を同定できなかった。
• 緩いマッチ基準はあまりに寛容であり、1語分の重複でもマッチとみなされるため、しきい値を設定した重複メトリクスの導入が求められることが示された。
• 本研究では、意味的距離（例：オントロジー内の親子関係）を組み込むことで、概念正規化の性能を向上させられることを示した。現在の手法では、すべての不一致を完全な失敗とみなしているが、意味的距離を考慮することで、部分的な一致の価値を評価できるようになった。