[논문 리뷰] Identifying and Extracting Rare Disease Phenotypes with Large Language Models

Cathy Shyr, Yan Hu외 2명|arXiv (Cornell University)|2023. 06. 22.

Genomics and Rare Diseases참고 문헌 35인용 수 5

한 줄 요약

이 연구는 구조화되지 않은 임상 텍스트에서 희귀질환 표현형을 추출하기 위해 ChatGPT를 사용한 zero-shot 및 few-shot 프롬프트 학습을 평가하며, 미세조정된 BioClinicalBERT와 비교한다. 전체 성능은 낮았지만(F1 0.472–0.591 대비 0.689), 한 번의 예제 설정에서 희귀질환과 징후에서 ChatGPT가 더 뛰어난 성능을 보였다(F1 0.776 및 0.725), 이는 최소한의 레이블 데이터로 저자원 표현형 분석에 잠재력을 보여준다.

ABSTRACT

Rare diseases (RDs) are collectively common and affect 300 million people worldwide. Accurate phenotyping is critical for informing diagnosis and treatment, but RD phenotypes are often embedded in unstructured text and time-consuming to extract manually. While natural language processing (NLP) models can perform named entity recognition (NER) to automate extraction, a major bottleneck is the development of a large, annotated corpus for model training. Recently, prompt learning emerged as an NLP paradigm that can lead to more generalizable results without any (zero-shot) or few labeled samples (few-shot). Despite growing interest in ChatGPT, a revolutionary large language model capable of following complex human prompts and generating high-quality responses, none have studied its NER performance for RDs in the zero- and few-shot settings. To this end, we engineered novel prompts aimed at extracting RD phenotypes and, to the best of our knowledge, are the first the establish a benchmark for evaluating ChatGPT's performance in these settings. We compared its performance to the traditional fine-tuning approach and conducted an in-depth error analysis. Overall, fine-tuning BioClinicalBERT resulted in higher performance (F1 of 0.689) than ChatGPT (F1 of 0.472 and 0.591 in the zero- and few-shot settings, respectively). Despite this, ChatGPT achieved similar or higher accuracy for certain entities (i.e., rare diseases and signs) in the one-shot setting (F1 of 0.776 and 0.725). This suggests that with appropriate prompt engineering, ChatGPT has the potential to match or outperform fine-tuned language models for certain entity types with just one labeled sample. While the proliferation of large language models may provide opportunities for supporting RD diagnosis and treatment, researchers and clinicians should critically evaluate model outputs and be well-informed of their limitations.

연구 동기 및 목표

• 대규모 언어 모델, 특히 ChatGPT의 성능을 희귀질환 표현형 추출에 대해 zero-shot 및 few-shot 설정에서 평가하는 것.
• fine-tuned BioClinicalBERT와의 비교를 통해 ChatGPT의 명명된 엔티티 인식(NER) 성능을 희귀질환 표현형에 대해 기준화하는 것.
• 적절한 프롬프트 설계가 최소한의 레이블 예제로 특정 엔티티 유형에 대해 ChatGPT가 미세조정된 모델과 동등하거나 이를 초월할 수 있는지 조사하는 것.
• 희귀질환 표현형 분석에서 생성형 LLM을 사전 주석 도구로 사용할 수 있는 기반을 마련하는 것. 이를 통해 수동 코딩의 부담을 줄일 수 있다.

제안 방법

• 희귀질환, 질환, 징후, 증상의 네 가지 엔티티 유형을 추출하기 위해 커스터마이징된 프롬프트를 사용하여 명명된 엔티티 인식(NER)을 텍스트 생성 작업으로 재정의하였다.
• zero-shot 및 few-shot 추론을 위한 문장 기반 프롬프트를 설계하여, 복잡한 목록 형식을 피하고 계산 비용을 줄이며 성능을 향상시켰다.
• RareDis 코퍼스의 일부(832개 텍스트)에 대해 정확한 매칭 및 부분 매칭 기준을 사용하여 ChatGPT의 성능을 평가하였다.
• 동일한 테스트 세트에서 F1 스코어 0.689를 기록한 미세조정된 BioClinicalBERT 모델과 결과를 비교하였다.
• 실패 유형을 식별하기 위해 심층적인 오류 분석을 수행하였으며, 이는 경계 오류와 모호하거나 중첩된 표현형 기술로 인한 여분 또는 누락된 엔티티를 포함한다.
• 표준 NLP 평가 지표(Precision, Recall, F1)를 사용하였고, 엔티티 유형 및 오류 유형(경계, 여분, 누락)에 따라 오류를 분류하였다.

실험 결과

연구 질문

• RQ1 ChatGPT는 미세조정 없이 zero-shot 및 few-shot 설정에서 희귀질환 표현형 추출에 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 프롬프트 설계가 생물의학적 NER 작업에서 생성형 LLM의 성능에 상당한 영향을 미치는가?
• RQ3 희귀질환, 징후, 증상 등의 특정 엔티티 유형 중에서, 어떤 것에서 ChatGPT가 저자원 환경에서 미세조정된 모델을 초월하는가?
• RQ4 LLM 기반 표현형 추출에서 주요 오류 패tern은 무엇이며, 임상 텍스트의 복잡성과 어떻게 관련이 있는가?

주요 결과

• 미세조정된 BioClinicalBERT가 가장 높은 전체 F1 스코어(0.689)를 기록하여, zero-shot 및 few-shot ChatGPT 설정을 모두 앞섰다.
• One-shot 설정에서 ChatGPT는 희귀질환에 대해 F1 스코어 0.776, 징후에 대해 0.725를 기록하여, 이 특정 엔티티 유형에서 미세조정된 BioClinicalBERT의 성능을 초월하였다.
• ChatGPT는 사전 주석 도구로 강력한 잠재력을 보였으며, zero-shot 설정에서 희귀질환에 대해 F1 스코어 0.761, 징후에 대해 0.627을 기록하였다.
• 경계 오류와 여분/누락된 엔티티가 가장 흔한 오류 유형이었으며, 특히 징후와 증상의 경우 복잡하거나 모호한 임상 기술로 인해 발생하였다.
• 문장 기반 프롬프트가 목록 기반 프롬프트보다 성능이 뛰어나거나 동등했고, 계산 비용도 감소시켜 이 작업에 더 효과적이고 효율적임을 시사하였다.
• 전반적인 성능가 낮음에도 불구하고, 적절한 프롬프트 설계를 통해 생성형 LLM인 ChatGPT가 특정 희귀질환 엔티티 유형에 대해 저자원 환경에서 미세조정된 모델과 동등하거나 이를 초월할 수 있음을 시사한다.