[논문 리뷰] A Study of Generative Large Language Model for Medical Research and Healthcare

Cheng Peng, Xi Yang외 17명|arXiv (Cornell University)|2023. 05. 22.

Artificial Intelligence in Healthcare and Education인용 수 16

한 줄 요약

이 논문은 277B 단어로 학습되고 20B 파라미터를 가진 임상 생성형 LLM인 GatorTronGPT를 개발하고, 합성 NLP 모델이 실제 임상 텍스트 모델을 능가하는 반면 의사들은 튜링 테스트에서 AI와 인간을 구분하지 못한다는 것을 보여준다.

ABSTRACT

There is enormous enthusiasm and concerns in using large language models (LLMs) in healthcare, yet current assumptions are all based on general-purpose LLMs such as ChatGPT. This study develops a clinical generative LLM, GatorTronGPT, using 277 billion words of mixed clinical and English text with a GPT-3 architecture of 20 billion parameters. GatorTronGPT improves biomedical natural language processing for medical research. Synthetic NLP models trained using GatorTronGPT generated text outperform NLP models trained using real-world clinical text. Physicians Turing test using 1 (worst) to 9 (best) scale shows that there is no significant difference in linguistic readability (p = 0.22; 6.57 of GatorTronGPT compared with 6.93 of human) and clinical relevance (p = 0.91; 7.0 of GatorTronGPT compared with 6.97 of human) and that physicians cannot differentiate them (p < 0.001). This study provides insights on the opportunities and challenges of LLMs for medical research and healthcare.

연구 동기 및 목표

• 일반 목적의 LLM을 넘어 의학 연구 및 의료 분야에서 대형 언어 모델의 활용을 고무한다.
• 의학 텍스트에 맞춘 임상 생성형 LLM(GatorTronGPT)을 대규모 혼합 임상 및 영어 데이터로 개발한다.
• 생물의학 NLP 작업에서 GatorTronGPT의 성능을 평가하고 합성 모델과 실제 임상 텍스트로 학습된 모델을 비교한다.
• 의사들이 AI가 생성한 의학 텍스트를 튜링 테스트 스타일 평가를 통해 인식하고 평가하는지를 평가한다.

제안 방법

• GPT-3 아키텍처로 구성된 20B 파라미터의 GatorTronGPT를 구축한다.
• 임상 및 영어 텍스트를 혼합한 277B 단어의 코퍼스에서 학습한다.
• 생물의학 작업에서 NLP 성능을 평가하고 실제 임상 텍스트로 학습된 모델과 비교한다.
• GatorTronGPT의 텍스트를 사용해 합성 NLP 모델을 생성하고 실제 임상 데이터로 학습된 모델과 벤치마크한다.
• 읽기 용이성과 임상 관련성에 대해 1–9 척도를 사용하는 의사 튜링 테스트 스타일 평가를 수행한다.

실험 결과

연구 질문

• RQ1 混合 임상 및 영어 데이터로 학습된 임상 생성형 LLM이 실제 임상 텍스트로만 학습된 모델을 생의학 NLP 작업에서 능가할 수 있는가?
• RQ2 AI가 생성한 의학 텍스트 출력이 의사들에게 읽기 용이성과 임상 관련성 면에서 인간이 작성한 텍스트와 구분되지 않는가?
• RQ3 실증 평가를 바탕으로 의학 연구 및 의료 분야에서 LLM을 배치하는 기회와 도전은 무엇인가?

주요 결과

• GatorTronGPT로 생성된 텍스트로 학습된 합성 NLP 모델이 실제 임상 텍스트로 학습된 모델을 능가한다.
• 의사 튜링 테스트 결과 GatorTronGPT(6.57)와 인간 샘플(6.93) 간의 언어적 읽기 용이성 차이가 유의하게 없음을 보여주며(p = 0.22).
• 의사 튜링 테스트 결과 GatorTronGPT(7.0)와 인간 샘플(6.97) 간의 임상 관련성 차이가 유의하게 없음을 보여주며(p = 0.91).
• 의사들은 AI가 생성한 출력과 인간이 작성한 출력이 신뢰성 있게 구분되지 않는다고 판단한다(p < 0.001).