[論文レビュー] Medical Data Augmentation via ChatGPT: A Case Study on Medication Identification and Medication Event Classification

Shouvon Sarker, Lijun Qian+1 more|arXiv (Cornell University)|Jun 10, 2023

Machine Learning in Healthcare被引用数 7

ひとこと要約

本研究では、電子歴史記録（EHR）における薬剤特定および薬剤イベント分類の性能を向上させるために、ChatGPTを用いたデータ拡張フレームワークを提案する。臨床文の多様で文脈的に正確な言い換えを生成することで、訓練データを強化し、特にBioClinicalBERTおよびRoBERTa-largeを含む事前学習済みBERTモデルと微調整することで、薬剤イベント分類における再現率およびF1スコアの向上が顕著に見られた。

ABSTRACT

The identification of key factors such as medications, diseases, and relationships within electronic health records and clinical notes has a wide range of applications in the clinical field. In the N2C2 2022 competitions, various tasks were presented to promote the identification of key factors in electronic health records (EHRs) using the Contextualized Medication Event Dataset (CMED). Pretrained large language models (LLMs) demonstrated exceptional performance in these tasks. This study aims to explore the utilization of LLMs, specifically ChatGPT, for data augmentation to overcome the limited availability of annotated data for identifying the key factors in EHRs. Additionally, different pre-trained BERT models, initially trained on extensive datasets like Wikipedia and MIMIC, were employed to develop models for identifying these key variables in EHRs through fine-tuning on augmented datasets. The experimental results of two EHR analysis tasks, namely medication identification and medication event classification, indicate that data augmentation based on ChatGPT proves beneficial in improving performance for both medication identification and medication event classification.

研究の動機と目的

• 大規模言語モデルを活用して合成データを生成することで、アノテート済みEHRデータの不足を解消すること。
• ChatGPTが生成する拡張データの有効性を、臨床テキストにおける下流NLPタスクの性能向上の観点から評価すること。
• オリジナルデータおよび拡張データで微調整された複数の事前学習済みBERTバリアントを、薬剤関連分類タスクにおいて比較すること。
• LLMを用いたデータ拡張が、臨床NLPアプリケーションにおけるモデルの汎化性および頑健性を向上させるかどうかを調査すること。
• リソースが限られた臨床NLP環境におけるデータ拡張の実用的でプロンプト設計に最適化されたパイプラインを提供すること。

提案手法

• プロンプト設計を用いてChatGPTで元のEHR文を言い換え、意味的に同等だが言語的に多様な訓練サンプルを生成する。
• オリジナルのCMED訓練データと拡張データを統合し、拡大された訓練セットを構築する。
• 拡張データセット上で、BioBERT、ClinicalBERT、RoBERTa、BioClinicalBERTなどの複数の事前学習済みBERTバリアントを微調整する。
• 2つのN2C2 2022ベンチマークタスク（薬剤特定および薬剤イベント分類）に対して、微調整されたモデルを評価する。
• マクロ平均およびミクロ平均の両方の評価基準を用いて、厳密な評価と緩い評価の両方の指標（適合率、再現率、F1）を適用する。
• ゼロショットおよび少数ショットのプロンプト戦略を用いて、臨床ノートから多様で文脈的に正確な言い換えを生成する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTが生成するデータ拡張は、EHRからの薬剤特定におけるBERTベースモデルの性能を向上させるか？
• RQ2 ChatGPTによるデータ拡張は、特に再現率およびF1スコアにおいて、薬剤イベント分類の性能向上に顕著な効果をもたらすか？
• RQ3 拡張EHRデータで微調整された場合、どの事前学習済みBERTバリアントが最も優れた性能を示すか？
• RQ4 オリジナルデータのみで学習したモデルと比較して、拡張データで学習したモデルの性能は、さまざまな評価指標においてどのように異なるか？
• RQ5 データ拡張は、リソースが限られた臨床NLPタスクにおけるデータ不足問題をどの程度緩和するか？

主な発見

• 拡張されたRoBERTa-largeモデルは、データ拡張後に、薬剤特定でマクロF1スコア0.7356、薬剤イベント分類で0.8268（緩い評価基準）を達成した。
• データ拡張により、薬剤イベント分類の再現率が顕著に向上し、拡張済みのRoBERTa-largeモデルはマクロ再現率0.7426を達成した（拡張なしでは0.7235）。
• BioClinicalBERTおよびBioRedditBERTは優れた性能を示し、特にBioRedditBERTは薬剤特定でマクロF1スコア0.6976、薬剤イベント分類でマクロ再現率0.7096を達成した。
• RoBERTa-largeモデルは他のすべてのバリアントを上回り、緩い評価基準下で薬剤特定でマクロF1スコア0.7317、薬剤イベント分類でF1スコア0.8237を達成した。
• 拡張データの使用により、再現率をはじめとする複数の指標で一貫した向上が見られ、これは希少または複雑な薬剤イベントパターンの捉え込みが向上したことを示している。
• 結果から、LLMを用いたデータ拡張は、リソースが限られた臨床NLPタスクにおけるモデルの汎化性向上に実用的で効果的な戦略であることが示された。