[論文レビュー] Does Synthetic Data Generation of LLMs Help Clinical Text Mining?

Ruixiang Tang, Xiaotian Han+2 more|arXiv (Cornell University)|Mar 8, 2023

Artificial Intelligence in Healthcare and Education被引用数 80

ひとこと要約

本論文は、ゼロショットのLLMが生物医療系NER/REで性能を下回ることを示し、その後、プロンプトを用いた合成データ生成を提案して局所モデルを訓練し、NERおよびREタスクでかなりの改善を達成しつつ、プライバシーの懸念にも対応する。

ABSTRACT

Recent advancements in large language models (LLMs) have led to the development of highly potent models like OpenAI's ChatGPT. These models have exhibited exceptional performance in a variety of tasks, such as question answering, essay composition, and code generation. However, their effectiveness in the healthcare sector remains uncertain. In this study, we seek to investigate the potential of ChatGPT to aid in clinical text mining by examining its ability to extract structured information from unstructured healthcare texts, with a focus on biological named entity recognition and relation extraction. However, our preliminary results indicate that employing ChatGPT directly for these tasks resulted in poor performance and raised privacy concerns associated with uploading patients' information to the ChatGPT API. To overcome these limitations, we propose a new training paradigm that involves generating a vast quantity of high-quality synthetic data with labels utilizing ChatGPT and fine-tuning a local model for the downstream task. Our method has resulted in significant improvements in the performance of downstream tasks, improving the F1-score from 23.37% to 63.99% for the named entity recognition task and from 75.86% to 83.59% for the relation extraction task. Furthermore, generating data using ChatGPT can significantly reduce the time and effort required for data collection and labeling, as well as mitigate data privacy concerns. In summary, the proposed framework presents a promising solution to enhance the applicability of LLM models to clinical text mining.

研究の動機と目的

• LLMを臨床テキストマイニングタスク（生物医療NERおよびRE）に使用することの動機づけと実現可能性を評価する。
• 医療テキストにおけるNERおよびREに対するChatGPTのゼロショット性能を評価する。
• プライバシリスクを緩和しつつ局所モデルを訓練するための合成データ生成フレームワークを提案する。
• NERおよびREの下流タスク性能を合成データを用いて改善させることを示す。

提案手法

• 生物学的タスク向けに設計されたプロンプトを用いてNERおよびREに対するChatGPTをベンチマークする。
• シード例とプロンプトを用いてLLMでラベル付きの大規模な合成データを生成する。
• 低品質または重複サンプルを除去するよう合成データを後処理する。
• 合成データで局所事前学習済み言語モデル（BERT、RoBERTa、BioBERT）をファインチューニングする。
• ゼロショットのChatGPT、合成データでファインチューヤしたモデル、元データでファインチューニングしたモデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTはゼロショット設定で生物医療NERおよびREを効果的に実行できるか。
• RQ2 シードとプロンプトに guided された合成データ生成は、局所モデルをファインチューニングする際に下流の生物医療NERおよびREを改善するか。
• RQ3 合成データで訓練したモデルの性能は、元データで訓練したモデルと比較してどうか。
• RQ4 臨床テキストマイニングにおけるLLMのプライバシー影響は何か、合成データを用いたオフラインモデルでそれらを緩和できるか。

主な発見

• ゼロショットのChatGPTは、NERおよびREの生物医療データセットで訓練されたSOTAモデルと比べて著しく劣る。
• 合成データでのファインチューニングは、NERの性能をデータセットおよびモデルを横断して著しく向上させ、元データで達成される性能に近づくか、同等になる場合がある。
• 関係抽出では、合成データでのファインチューニングが顕著な改善をもたらし、場合によっては元データの性能に匹敵することがある。
• 合成データの使用によりAPIへ患者データをアップロードする必要性が減り、プライバシー問題に対処できる。
• 合成文の数を増やすと性能はある程度向上するが、ある時点で改善は頭打ちになる。
• シード例の量とプロンプトはデータ品質と下流結果に影響を与える；彼らの実験では約3500の合成文と約80のシードが十分である。