[논문 리뷰] Does Synthetic Data Generation of LLMs Help Clinical Text Mining?

Ruixiang Tang, Xiaotian Han외 2명|arXiv (Cornell University)|2023. 03. 08.

Artificial Intelligence in Healthcare and Education인용 수 80

한 줄 요약

논문은 zero-shot LLMs가 biomedical NER/RE에서 성능이 저조하다는 것을 보이고, 이어 프롬프트를 통한 합성 데이터를 생성하여 로컬 모델을 학습시키는 프레임워크를 제안하며, NER 및 RE 작업에서 상당한 향상을 달성하고 프라이버시 문제를 해결합니다.

ABSTRACT

Recent advancements in large language models (LLMs) have led to the development of highly potent models like OpenAI's ChatGPT. These models have exhibited exceptional performance in a variety of tasks, such as question answering, essay composition, and code generation. However, their effectiveness in the healthcare sector remains uncertain. In this study, we seek to investigate the potential of ChatGPT to aid in clinical text mining by examining its ability to extract structured information from unstructured healthcare texts, with a focus on biological named entity recognition and relation extraction. However, our preliminary results indicate that employing ChatGPT directly for these tasks resulted in poor performance and raised privacy concerns associated with uploading patients' information to the ChatGPT API. To overcome these limitations, we propose a new training paradigm that involves generating a vast quantity of high-quality synthetic data with labels utilizing ChatGPT and fine-tuning a local model for the downstream task. Our method has resulted in significant improvements in the performance of downstream tasks, improving the F1-score from 23.37% to 63.99% for the named entity recognition task and from 75.86% to 83.59% for the relation extraction task. Furthermore, generating data using ChatGPT can significantly reduce the time and effort required for data collection and labeling, as well as mitigate data privacy concerns. In summary, the proposed framework presents a promising solution to enhance the applicability of LLM models to clinical text mining.

연구 동기 및 목표

• LLM을 사용한 임상 텍스트 마이닝 과제들(예: biomedical NER 및 RE)의 타당성과 실현 가능성을 동기부여하고 평가한다.
• Healthcare 텍스트에서 NER 및 RE에 대한 ChatGPT의 zero-shot 성능을 평가한다.
• 개인정보 위험을 완화하는 동시에 로컬 모델을 학습시키기 위한 합성 데이터 생성 프레임워크를 제안한다.
• 합성 데이터를 활용한 NER 및 RE의 다운스트림 태스크 성능 향상을 입증한다.

제안 방법

• 생물학적 태스크를 위해 설계된 프롬프트를 사용하여 NER 및 RE에서 ChatGPT를 벤치마크한다.
• seed 예제와 프롬프트를 사용해 LLM으로 라벨이 있는 대규모 합성 데이터를 생성한다.
• 합성 데이터에서 저품질 또는 중복 샘플을 제거하기 위한 후처리를 수행한다.
• 합성 데이터로 로컬 사전 학습된 언어 모델(BERT, RoBERTa, BioBERT)을 미세조정한다.
• 제로샷 ChatGPT, 합성 데이터로 미세조정된 모델, 원 데이터로 미세조정된 모델 간의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 ChatGPT가 제로샷 설정에서 생의학적 NER 및 RE를 효과적으로 수행할 수 있는가?
• RQ2 Seed와 프롬프트를 guided한 합성 데이터 생성을 통해 로컬 모델 미세조정 시 다운스트림 생의학적 NER 및 RE가 개선되는가?
• RQ3 합성 데이터로 학습된 모델의 성능은 원 데이터로 학습된 모델과 비교해 어떤 차이가 있는가? 생의학 NER 및 RE에서?
• RQ4 임상 텍스트 마이닝에 LLM을 사용하는 데 있어 프라이버시 측면은 어떠하며, 합성 데이터로 오프라인 모델이 이를 완화할 수 있는가?

주요 결과

• Zero-shot ChatGPT는 NER 및 RE에 대해 생의학 데이터셋에서 학습된 SOTA 모델보다 상당히 낮은 성능을 보인다.
• 합성 데이터로 미세조정하면 NER 성능이 여러 데이터셋과 모델에서 크게 향상되며, 일부 경우 원 데이터와의 성능에 근접하거나 이를 따라간다.
• 관계 추출의 경우 합성 데이터로의 미세조정이 상당한 이득을 주며, 일부 경우 원 데이터의 성능과 유사하게 된다.
• 합성 데이터를 사용하면 API에 환자 데이터를 업로드할 필요가 줄어들어 프라이버시 문제가 완화된다.
• 합성 문장의 수를 늘리면 일정 지점까지 성능이 향상되며, 그 이후에는 이득이 정체된다.
• Seed 예제 수와 프롬프트의 품질이 데이터 품질과 다운스트림 결과에 영향을 미치며, 이들의 실험에서 약 3500개의 합성 문장과 약 80개의 seed가 충분하다.