[论文解读] Catch Me If You Can: Identifying Fraudulent Physician Reviews with Large Language Models Using Generative Pre-Trained Transformers

Aishwarya Deep Shukla, Laksh Agarwal+5 more|arXiv (Cornell University)|Apr 19, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本研究提出使用大型语言模型，特别是 GPT-3 和 GPT-4，基于包含 38,048 条评论的真实世界数据集来检测虚假医生评论。结果表明，GPT-3 在性能上优于传统机器学习模型，所需训练数据更少，并在冷启动场景下表现更佳，揭示出虚假评论在临床细节上更丰富，情感表达更内敛，结构更完善，而真实评论则相反。

ABSTRACT

The proliferation of fake reviews of doctors has potentially detrimental consequences for patient well-being and has prompted concern among consumer protection groups and regulatory bodies. Yet despite significant advancements in the fields of machine learning and natural language processing, there remains limited comprehension of the characteristics differentiating fraudulent from authentic reviews. This study utilizes a novel pre-labeled dataset of 38048 physician reviews to establish the effectiveness of large language models in classifying reviews. Specifically, we compare the performance of traditional ML models, such as logistic regression and support vector machines, to generative pre-trained transformer models. Furthermore, we use GPT4, the newest model in the GPT family, to uncover the key dimensions along which fake and genuine physician reviews differ. Our findings reveal significantly superior performance of GPT-3 over traditional ML models in this context. Additionally, our analysis suggests that GPT3 requires a smaller training sample than traditional models, suggesting its appropriateness for tasks with scarce training data. Moreover, the superiority of GPT3 performance increases in the cold start context i.e., when there are no prior reviews of a doctor. Finally, we employ GPT4 to reveal the crucial dimensions that distinguish fake physician reviews. In sharp contrast to previous findings in the literature that were obtained using simulated data, our findings from a real-world dataset show that fake reviews are generally more clinically detailed, more reserved in sentiment, and have better structure and grammar than authentic ones.

研究动机与目标

• 为应对虚假医生评论日益严重的问题，此类问题损害患者福祉并破坏医疗体系的信任。
• 利用真实世界数据，探究虚假与真实医生评论在语言和结构特征上的差异。
• 评估大型语言模型（尤其是 GPT-3 和 GPT-4）在分类虚假评论方面相较于传统机器学习模型的有效性。
• 在低数据（冷启动）条件下评估这些模型的性能，即医生尚无或仅有极少先前评论时。
• 利用 GPT-4 的可解释性工具，揭示区分虚假与真实评论的关键维度。

提出的方法

• 本研究使用一个新颖的、预先标注的 38,048 条医生评论数据集，该数据集来自真实世界来源，用于训练和评估分类模型。
• 将传统机器学习模型（逻辑回归和支持向量机）与生成式预训练变换器模型（特别是 GPT-3）进行比较。
• 使用 GPT-4 通过零样本和少样本提示，分析并解释虚假与真实评论在语言和结构上的关键差异。
• 采用标准分类指标（如准确率、精确率、召回率和 F1 分数）评估模型性能。
• 通过消融研究评估模型在冷启动条件下的表现，即医生尚无先前评论时。
• 利用 GPT-4 进行可解释性分析，识别出临床细节、情感基调和语法结构等显著特征作为区分维度。

实验结果

研究问题

• RQ1 大型语言模型（如 GPT-3）在检测虚假医生评论方面与传统机器学习模型相比表现如何？
• RQ2 在真实世界数据中，区分虚假与真实医生评论的关键语言和结构特征是什么？
• RQ3 当医生尚无先前评论（即冷启动场景）时，GPT-3 的性能是否有所提升？
• RQ4 虚假评论在临床细节、情感表达和语法质量方面与真实评论有何不同？
• RQ5 GPT-4 是否能够可靠地识别并解释区分虚假与真实医生评论的维度？

主要发现

• GPT-3 在分类虚假医生评论方面显著优于传统机器学习模型（如逻辑回归和支持向量机）。
• GPT-3 在训练数据需求量显著更少的情况下仍能实现优异性能，适用于低资源环境。
• GPT-3 的性能优势在冷启动场景中最为明显，即医生尚无先前评论时。
• 研究发现，虚假评论在临床细节上更丰富，情感表达更内敛，语法结构更完善，优于真实评论——这与基于模拟数据的先前假设相反。
• GPT-4 分析确认，临床特异性、情感克制和句法质量是虚假与真实评论之间最主要的区分维度。
• 本研究揭示，虚假评论并非质量更低或语法更差，反而更具专业风格，挑战了“虚假评论通常质量低劣或语法错误”的普遍假设。