[論文レビュー] MedMine: Examining Pre-trained Language Models on Medication Mining

Haifa Alrdahi, Lifeng Han+2 more|arXiv (Cornell University)|Aug 7, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文では、n2c2-2018共有タスクデータを用いて、臨床文書における薬剤抽出のためのファインチューニング済み事前学習言語モデル—Med7およびXLM-RoBERTa—を評価するフレームワークMedMineを紹介する。XLM-RoBERTaはMed7+（81.87%）よりも顕著に高い正確性（96.76%）を達成しており、臨床エンティティ抽出タスクにおいて、ドメイン特化型のGloVeベースのモデルに比べ、多言語対応でBERTベースのモデルが優位であることを示している。

ABSTRACT

Automatic medication mining from clinical and biomedical text has become a popular topic due to its real impact on healthcare applications and the recent development of powerful language models (LMs). However, fully-automatic extraction models still face obstacles to be overcome such that they can be deployed directly into clinical practice for better impacts. Such obstacles include their imbalanced performances on different entity types and clinical events. In this work, we examine current state-of-the-art pre-trained language models (PLMs) on such tasks, via fine-tuning including the monolingual model Med7 and multilingual large language model (LLM) XLM-RoBERTa. We compare their advantages and drawbacks using historical medication mining shared task data sets from n2c2-2018 challenges. We report the findings we get from these fine-tuning experiments such that they can facilitate future research on addressing them, for instance, how to combine their outputs, merge such models, or improve their overall accuracy by ensemble learning and data augmentation. MedMine is part of the M3 Initiative \url{https://github.com/HECTA-UoM/M3}

研究の動機と目的

• 臨床文書における薬剤抽出のための最先端の事前学習言語モデル（PLM）の評価を目的とし、エンティティおよびイベント抽出に焦点を当てる。
• 訓練データに不足している薬剤、投与量、期間、薬物誘因有害事象（ADE）などのエンティティタイプにおけるパフォーマンスの不均衡を解消すること。
• Med7+とClinical-XLM-Rの出力を比較することで、モデル融合やアンサンブル学習戦略を検討し、全体の抽出正確性を向上させること。
• 今後の低リソース臨床NLP研究のためのM3イニシャチブの一環として、オープンソースで拡張可能なツールキット—MedMine—の開発を目的とする。
• データ拡張やプロンプトベース学習が、薬剤抽出におけるレアラベル予測の改善にどの程度寄与するかを調査すること。

提案手法

• n2c2-2018データ上で、SpaCyおよびGloVe埋め込みを用いてモノリンガル臨床モデルMed7をファインチューニングし、9つの薬剤関連ラベルにおける名前付きエンティティ認識（NER）を実行した。
• 同じn2c2-2018データセット上で、多言語対応のXLM-RoBERTa-baseモデルをファインチューニングし、100言語で事前学習されていることから、臨床NLPにおける一般化性能の向上を図った。
• 512トークンを超えるシーケンスに対して文書チャンクイングを適用し、長大な臨床ノートを512トークンのセグメントに分割したが、一部の文脈情報が失われる可能性があった。
• モデルパフォーマンスの比較のため、ラベルタイプごとにマイクロ、マクロ、加重平均レベルでの標準的なNER評価指標（適合率、再現率、F1）を用いた。
• Med7+は高い適合率を示した一方で、Clinical-XLM-Rはほとんどのラベルで高い再現率を示し、両モデルの相補的な強みを分析することで、モデル結合戦略を検討した。
• 将来の計画として、GPTベースのモデルとプロンプトベース学習（PBL）を、手動およびソフトテンプレートを用いて時系列的および関係的薬剤モデリングに統合することを想定している。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済みMed7およびXLM-RoBERTaモデルは、臨床文書からの薬剤エンティティおよびイベント抽出において、どのように性能を発揮するか？
• RQ2 現在のPLMベースの薬剤抽出システムにおいて、薬剤、投与量、期間、ADEなどの異なるラベルタイプ間で顕著なパフォーマンスの不均衡はどのようなものか？
• RQ3 Med7+とClinical-XLM-Rの出力を統合することで、アンサンブル学習やモデル統合により、全体のF1スコアを向上させられるか？
• RQ4 Med7が臨床データで事前学習されているにもかかわらず、XLM-RoBERTaの多言語事前学習が、Med7のドメイン特化型ファインチューニングに比べ、より優れたパフォーマンスを発揮する理由は何か？
• RQ5 データ拡張やプロンプトベース学習は、薬剤抽出における低頻度ラベルの問題をどの程度軽減できるか？

主な発見

• XLM-RoBERTaはn2c2-2018テストセットで全体の正確性が96.76%に達し、Med7+の81.87%よりも顕著に高い。
• Med7+は元のMed7モデルをすべての7つの共有ラベルで上回り、マイクロ平均F1が0.9244（元の0.7400）に、マクロ平均F1が0.9045（元の0.7200）に、加重F1が0.9247（元の0.7700）に向上した。
• Med7+はほとんどのラベルで再現率より適合率が高く、Clinical-XLM-Rは逆に高い再現率を示しており、両モデルの相補的な強みが明らかになった。
• 「route」ラベルはMed7+がMed7に比べてわずかな改善（F1: 0.96 vs. 0.96）に留まっており、この分類では改善の余地が限られていることが示唆された。
• 低頻度ラベルの「duration」（139インスタンス）および「ADE」（242インスタンス）は顕著に低いパフォーマンスを示しており、データ拡張や合成データ生成の必要性が浮き彫りになった。
• Med7+とClinical-XLM-Rのパフォーマンス格差は、ドメイン特化型ファインチューニングでさえも、GloVe埋め込みに比べ、多言語事前学習やBERTベースの表現が臨床NLPタスクで優位である可能性を示唆している。