[논문 리뷰] Differentiate ChatGPT-generated and Human-written Medical Texts

Wenxiong Liao, Zhengliang Liu외 9명|arXiv (Cornell University)|2023. 04. 23.

Artificial Intelligence in Healthcare and Education인용 수 24

한 줄 요약

이 논문은 인간 작성 및 ChatGPT 생성 의학 텍스트의 데이터셋을 구축하고 언어적 차이를 분석하며, ChatGPT 생성 의학 텍스트를 인간 작성 텍스트와 구분하는 데 BERT 기반 탐지기가 F1 > 95%를 달성한다는 것을 보여준다.

ABSTRACT

Background: Large language models such as ChatGPT are capable of generating grammatically perfect and human-like text content, and a large number of ChatGPT-generated texts have appeared on the Internet. However, medical texts such as clinical notes and diagnoses require rigorous validation, and erroneous medical content generated by ChatGPT could potentially lead to disinformation that poses significant harm to healthcare and the general public. Objective: This research is among the first studies on responsible and ethical AIGC (Artificial Intelligence Generated Content) in medicine. We focus on analyzing the differences between medical texts written by human experts and generated by ChatGPT, and designing machine learning workflows to effectively detect and differentiate medical texts generated by ChatGPT. Methods: We first construct a suite of datasets containing medical texts written by human experts and generated by ChatGPT. In the next step, we analyze the linguistic features of these two types of content and uncover differences in vocabulary, part-of-speech, dependency, sentiment, perplexity, etc. Finally, we design and implement machine learning methods to detect medical text generated by ChatGPT. Results: Medical texts written by humans are more concrete, more diverse, and typically contain more useful information, while medical texts generated by ChatGPT pay more attention to fluency and logic, and usually express general terminologies rather than effective information specific to the context of the problem. A BERT-based model can effectively detect medical texts generated by ChatGPT, and the F1 exceeds 95%.

연구 동기 및 목표

• 사람과 ChatGPT 생성 의료 텍스트 간의 차이를 이해함으로써 의학에서 AI의 신뢰할 수 있는 활용을 촉진한다.
• 사람과 ChatGPT 생성 콘텐츠로 구성된 의학 초록과 영상의학 보고서의 전용 데이터셋을 구축한다.
• 두 텍스트 유형을 구분하는 어휘, 품사(POS), 의존성, 감정, 혼란도(perplexity) 등의 언어적 특징을 특성화한다.
• ChatGPT 생성 의료 텍스트를 신뢰성 있게 식별하는 머신러닝 탐지기를 개발하고 평가한다.

제안 방법

• 두 가지 데이터셋을 만든다: Kaggle의 의학 초록과 영상의학 보고서에서 얻은 것들; 시연을 통한 텍스트 연속화(in-context learning)로 ChatGPT 대응 데이터를 생성한다.
• 언어 분석을 수행한다: 어휘/어간 수, 품사 태깅(NLTK), 의존성 분석(Stanford CoreNLP), 감정 분석(Cardiff NLP 모델), 혼란도(BioGPT).
• 인간과 ChatGPT 텍스트 간의 유창성, 특이성, 통계적 속성의 차이를 정량화한다.
• 다음 탐지기를 개발한다: 혼란도 임계값(Perplexity-CLS), CART(TF-IDF 특징), XGBoost(TF-IDF 특징), 미세조정된 BERT(bert-base-cased).
• 학습/검증/시험 분할(7:2:1)에서 탐지기를 평가하고 정밀도, 재현율, F1 점수를 보고한다.

실험 결과

연구 질문

• RQ1 사람이 작성한 의학 텍스트와 ChatGPT가 생성한 텍스트 사이에 어떤 언어적 차이가 존재하는가?
• RQ2 머신러닝 모델이 ChatGPT 생성 의학 텍스트를 정확히 탐지할 수 있는가, 그리고 어떤 모델이 가장 우수한가?
• RQ3 제안된 특징과 모델을 사용하여 두 데이터셋(의학 초록과 영상의학 보고서)이 일관되게 구분 가능한가?

주요 결과

• 사람은 더 다양하고 구체적인 의학 콘텐츠를 생성하는 반면, ChatGPT는 유창하고 논리적이며 더 일반적인 텍스트를 생성한다.
• ChatGPT 생성 의학 텍스트는 감정이 더 중립적/긍정적 경향이고 혼란도가 더 낮아 훈련 데이터의 패턴 복제를 반영한다.
• 품사 및 의존성 분석에서 ChatGPT가 관사, 접속사, 등위를 더 많이 사용하고 의존 거리도 더 짧은 것으로 나타난다.
• BERT 기반 탐지기가 최상의 성능을 달성하며 두 데이터셋 모두에서 F1 > 0.95를 기록; 혼란도 기반 방법은 더 약하다.
• XGBoost와 CART는 경쟁력 있는 성능을 제공하고 해석 가능한 특징 인사이트를 제공하며, BERT가 전반적으로 가장 강한 판별력을 보인다.