[論文レビュー] Catch Me If You Can: Identifying Fraudulent Physician Reviews with Large Language Models Using Generative Pre-Trained Transformers

Aishwarya Deep Shukla, Laksh Agarwal+5 more|arXiv (Cornell University)|Apr 19, 2023

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本研究では、38,048件のレビューからなる実世界のデータセットを用いて、GPT-3およびGPT-4を活用して不正な医師レビューを検出する手法を提案する。GPT-3は従来の機械学習モデルを上回り、訓練データが少ない状況でも優れた性能を示し、冷スタート状況でも優れた性能を発揮することが明らかになった。また、不正レビューは本物のレビューと比較して、臨床的に詳細で、感情表現が控えめで、構造的に整った特徴を持つことが判明した。

ABSTRACT

The proliferation of fake reviews of doctors has potentially detrimental consequences for patient well-being and has prompted concern among consumer protection groups and regulatory bodies. Yet despite significant advancements in the fields of machine learning and natural language processing, there remains limited comprehension of the characteristics differentiating fraudulent from authentic reviews. This study utilizes a novel pre-labeled dataset of 38048 physician reviews to establish the effectiveness of large language models in classifying reviews. Specifically, we compare the performance of traditional ML models, such as logistic regression and support vector machines, to generative pre-trained transformer models. Furthermore, we use GPT4, the newest model in the GPT family, to uncover the key dimensions along which fake and genuine physician reviews differ. Our findings reveal significantly superior performance of GPT-3 over traditional ML models in this context. Additionally, our analysis suggests that GPT3 requires a smaller training sample than traditional models, suggesting its appropriateness for tasks with scarce training data. Moreover, the superiority of GPT3 performance increases in the cold start context i.e., when there are no prior reviews of a doctor. Finally, we employ GPT4 to reveal the crucial dimensions that distinguish fake physician reviews. In sharp contrast to previous findings in the literature that were obtained using simulated data, our findings from a real-world dataset show that fake reviews are generally more clinically detailed, more reserved in sentiment, and have better structure and grammar than authentic ones.

研究の動機と目的

• 患者の健康に悪影響を及ぼし、医療制度への信頼を損なう不正な医師レビューの増加という問題に対処すること。
• 実世界のデータを用いて、不正レビューと本物のレビューとの間の言語的および構造的特徴の違いを解明すること。
• 特にGPT-3およびGPT-4を含む大規模言語モデルの、従来の機械学習モデルと比較して不正レビューを分類する有効性を評価すること。
• 医師に過去のレビューが存在しない（低データ）状況、すなわち冷スタート状況におけるこれらのモデルの性能を検証すること。
• GPT-4の解釈可能性ツールを用いて、不正レビューと本物のレビューを区別する主な次元を特定すること。

提案手法

• 本研究では、実世界のソースから収集した38,048件の医師レビューからなる、新規で事前にラベル付けされたデータセットを用いて、分類モデルの訓練および評価を行う。
• ロジスティック回帰およびサポートベクターマシンといった従来の機械学習モデルと、特にGPT-3を含む生成的事前学習トランスフォーマー・モデルを比較する。
• GPT-4を用いて、ゼロショットおよびフェイシング（few-shot）プロンプティングを用いて、不正レビューと本物のレビューの間の言語的および構造的差異を分析・解釈する。
• モデルの性能は、正確度、適合率、再現率、F1スコアといった標準的な分類指標を用いて評価する。
• 冷スタート状況（医師に過去のレビューが存在しない状況）におけるモデル性能を評価するため、アブレーションスタディを実施する。
• GPT-4を用いた解釈可能性分析により、臨床的詳細、感情のトーン、文法的構造といった顕著な特徴が、不正レビューと本物のレビューを区別する主な次元であることが同定された。

実験結果

リサーチクエスチョン

• RQ1 GPT-3のような大規模言語モデルは、従来の機械学習モデルと比較して、不正な医師レビューを検出する上でどのように異なるか？
• RQ2 実世界のデータにおいて、不正レビューと本物のレビューを区別する主な言語的および構造的特徴は何か？
• RQ3 GPT-3の性能は、医師に過去のレビューが存在しない低データ（冷スタート）状況で向上するか？
• RQ4 臨床的詳細、感情表現、文法的品質の観点から、不正レビューと本物のレビューの特徴はどのように異なるか？
• RQ5 GPT-4は、不正レビューと本物のレビューを区別する主な次元を信頼性を持って特定・説明できるか？

主な発見

• GPT-3は、ロジスティック回帰やサポートベクターマシンといった従来の機械学習モデルを著しく上回り、不正な医師レビューの分類性能を発揮した。
• GPT-3は、訓練データの必要量が著しく少ないにもかかわらず、優れた性能を発揮し、リソースが限られた環境に適していることが示された。
• GPT-3の性能優位性は、医師に過去のレビューが存在しない冷スタート状況で最も顕著に現れた。
• 不正レビューは、本物のレビューと比較して、臨床的に詳細で、感情表現が控えめで、文法的にも洗練された構造を持っていることが判明した。これは、模擬データに基づく従来の仮定とは逆の結果であった。
• GPT-4の分析により、臨床的明確性、感情の抑制、文構造の質が、不正レビューと本物のレビューを区別する主な次元であることが確認された。
• 本研究では、不正レビューが単に質が低い、または文法的に不正確であるという一般的な仮定とは対照的に、むしろより洗練されたプロフェッショナルなスタイルであることが明らかになった。