[논문 리뷰] Catch Me If You Can: Identifying Fraudulent Physician Reviews with Large Language Models Using Generative Pre-Trained Transformers

Aishwarya Deep Shukla, Laksh Agarwal외 5명|arXiv (Cornell University)|2023. 04. 19.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 연구는 실제 38,048개의 리뷰 데이터셋을 활용하여 대규모 언어 모델, 특히 GPT-3와 GPT-4를 사용해 위조 의료진 리뷰를 탐지하는 것을 제안한다. 연구 결과, GPT-3는 기존 기계학습 모델보다 뛰어난 성능을 보이며, 훈련 데이터가 적은 경우에도 유사한 성능을 유지하고, 콜드 스타트 상황에서 특히 뛰어난 성능을 발휘한다. 이는 위조 리뷰가 진짜 리뷰보다 더 임상적으로 구체적이고, 감정 표현이 더 억제되며, 더 잘 구성되어 있음을 시사한다.

ABSTRACT

The proliferation of fake reviews of doctors has potentially detrimental consequences for patient well-being and has prompted concern among consumer protection groups and regulatory bodies. Yet despite significant advancements in the fields of machine learning and natural language processing, there remains limited comprehension of the characteristics differentiating fraudulent from authentic reviews. This study utilizes a novel pre-labeled dataset of 38048 physician reviews to establish the effectiveness of large language models in classifying reviews. Specifically, we compare the performance of traditional ML models, such as logistic regression and support vector machines, to generative pre-trained transformer models. Furthermore, we use GPT4, the newest model in the GPT family, to uncover the key dimensions along which fake and genuine physician reviews differ. Our findings reveal significantly superior performance of GPT-3 over traditional ML models in this context. Additionally, our analysis suggests that GPT3 requires a smaller training sample than traditional models, suggesting its appropriateness for tasks with scarce training data. Moreover, the superiority of GPT3 performance increases in the cold start context i.e., when there are no prior reviews of a doctor. Finally, we employ GPT4 to reveal the crucial dimensions that distinguish fake physician reviews. In sharp contrast to previous findings in the literature that were obtained using simulated data, our findings from a real-world dataset show that fake reviews are generally more clinically detailed, more reserved in sentiment, and have better structure and grammar than authentic ones.

연구 동기 및 목표

• 환자 복지에 악영향을 주고 의료 시스템에 대한 신뢰를 훼손하는 위조 의료진 리뷰 문제의 증가를 다루기 위해.
• 실제 데이터를 활용하여 위조 리뷰와 진짜 리뷰 간의 언어적 및 구조적 특징을 규명하기 위해.
• 기존 기계학습 모델과 비교하여 대규모 언어 모델, 특히 GPT-3와 GPT-4의 위조 리뷰 분류 성능을 평가하기 위해.
• 의료진에 대해 이전 리뷰가 전혀 없거나 소수의 리뷰만 존재하는 저자원 상황(콜드 스타트 조건)에서 이러한 모델의 성능을 검토하기 위해.
• GPT-4의 해석 가능성 도구를 활용하여 위조 리뷰와 진짜 리뷰를 구분하는 핵심 차원을 규명하기 위해.

제안 방법

• 연구는 실제 출처에서 수집한 38,048개의 의료진 리뷰로 구성된 새로운 사전 레이블링된 데이터셋을 사용하여 분류 모델의 훈련과 평가를 수행한다.
• 기본 기계학습 모델(로지스틱 회귀 및 서포트 벡터 머신)과 비교하여 생성형 사전 훈련된 트랜스포머 모델, 특히 GPT-3를 활용한다.
• GPT-4는 제로샷 및 피셔샷 프롬프팅을 통해 위조 리뷰와 진짜 리뷰 간의 핵심 언어적 및 구조적 차이를 분석하고 해석하는 데 사용된다.
• 정확도, 정밀도, 재현율, F1 점수와 같은 표준 분류 지표를 사용하여 모델 성능을 평가한다.
• 의료진에 대해 이전 리뷰가 전혀 존재하지 않는 콜드 스타트 조건에서의 모델 성능을 평가하기 위해 추론 실험을 수행한다.
• GPT-4를 활용한 해석 가능성 분석을 통해 임상적 구체성, 감정 어조, 문법적 구조와 같은 주요 특징이 분류에 기여하는 핵심 요소로 확인된다.

실험 결과

연구 질문

• RQ1 GPT-3와 같은 대규모 언어 모델은 기존 기계학습 모델에 비해 위조 의료진 리뷰 탐지에서 어떤 성능을 보이는가?
• RQ2 실제 데이터에서 위조 리뷰와 진짜 리뷰를 구분하는 데 핵심이 되는 언어적 및 구조적 특징은 무엇인가?
• RQ3 의료진에 대해 이전 리뷰가 전혀 존재하지 않는 저자원(콜드 스타트) 상황에서 GPT-3의 성능은 향상되는가?
• RQ4 임상적 구체성, 감정 표현, 문법적 품질 측면에서 위조 리뷰는 진짜 리뷰와 어떻게 다를까?
• RQ5 GPT-4는 위조 리뷰와 진짜 리뷰를 구분하는 데 핵심이 되는 차원을 신뢰성 있게 식별하고 설명할 수 있는가?

주요 결과

• GPT-3는 로지스틱 회귀 및 서포트 벡터 머신과 같은 기존 기계학습 모델보다 위조 의료진 리뷰 분류에서 뚜렷한 성능 우위를 보였다.
• GPT-3는 훨씬 적은 훈련 데이터로도 뛰어난 성능을 달성하여 자원이 제한된 환경에서의 적용에 적합하다.
• GPT-3의 성능 우위는 의료진에 대해 이전 리뷰가 전혀 존재하지 않는 콜드 스타트 상황에서 가장 두드러지게 나타났다.
• 위조 리뷰는 진짜 리뷰보다 더 임상적으로 구체적이고, 감정 표현이 더 억제되며, 문법적으로 더 잘 구성되어 있음이 확인되었으며, 이는 이전에 시뮬레이션 데이터 기반으로 유도된 가정과는 정반대였다.
• GPT-4 분석 결과, 임상적 구체성, 감정 억제, 문법적 품질이 위조 리뷰와 진짜 리뷰를 구분하는 주요 차원으로 확인되었다.
• 연구 결과, 위조 리뷰가 단순히 낮은 수준의 품질이나 어색한 문장 구조를 가진 것이 아니라, 오히려 더 전문적인 스타일로 작성되어 있음을 규명하였다. 이는 일반적으로 위조 리뷰가 열등하거나 문법적으로 잘못된 것으로 여겨지는 일반적인 인식에 도전하는 대목이다.