[論文レビュー] Combat AI With AI: Counteract Machine-Generated Fake Restaurant Reviews on Social Media

Alessandro Gambetti, Qiwei Han|arXiv (Cornell University)|Feb 10, 2023

Spam and Phishing Detection被引用数 6

ひとこと要約

本稿では、検証済みのエリートYelpレビューデータをもとに合成されたAI生成偽レビューを用いてトレーニングされたGPTベースの検出システムを提案し、既存手法を上回る性能を発揮することを示している。モデルは高品質なトレーニングデータを活用することで優れた性能を達成し、偽レビューはより肯定的で、理解しやすく、評判が低いユーザーによって投稿されており、訪問客数が少ない傾向にあることが判明した。これは、ソーシャルメディアプラットフォームにおけるAI生成の詐欺的行動と構造的パターンに関する新たな知見を提供する。

ABSTRACT

Recent advances in generative models such as GPT may be used to fabricate indistinguishable fake customer reviews at a much lower cost, thus posing challenges for social media platforms to detect these machine-generated fake reviews. We propose to leverage the high-quality elite restaurant reviews verified by Yelp to generate fake reviews from the OpenAI GPT review creator and ultimately fine-tune a GPT output detector to predict fake reviews that significantly outperform existing solutions. We further apply the model to predict non-elite reviews and identify the patterns across several dimensions, such as review, user and restaurant characteristics, and writing style. We show that social media platforms are continuously challenged by machine-generated fake reviews, although they may implement detection systems to filter out suspicious reviews.

研究の動機と目的

• ソーシャルメディアプラットフォームにおけるAI生成偽レビューの増加に伴う信頼性の低下と消費者意思決定の歪みという深刻な課題に対処すること。
• 既存のソリューションよりも高い精度で機械生成の偽レビューと本物のレビューを区別できる、堅牢でファインチューニングされたGPTベースの検出器を開発すること。
• レビューやユーザ、レストラン、ライティングスタイルの次元における偽レビューの構造的・スタイル的・行動的パターンを分析すること。
• 偽レビューと実世界の顧客流入量との相関関係を調査し、偽レビュー研究において画期的な次元を提供すること。
• プラットフォームおよび政策立案者向けに、AI駆動のレビューフェイクを検出・是正するための実行可能なインサイトを提供すること。

提案手法

• OpenAIのGPTレビュークリエイターを用いて、検証済みのエリートYelpレビューデータから合成された偽レビューのデータセットを用いて、GPT-3モデルをファインチューニングする。
• ファインチューニング済みのGPTモデルを分類器として用い、偽レビューの検出において高い正確性と再現率を達成する。
• 分散分析（ANOVA）を用いて、感情、長さ、読みやすさなどのレビューパラメータ、ユーザの評判、レストランの評価、訪問客数の違いを、偽レビューと本物のレビューの間で比較する。
• SafeGraphのモビリティデータを活用して、偽レビューの頻度と実際の顧客訪問率の相関関係を分析する。
• 統計的モデリングを用いて、読みやすさや感情極性といったライティングスタイルの影響が、偽レビュー検出と「役立つ」と感じられる度合いに与える影響を評価する。
• プラットフォームが削除したコンテンツに偏りが生じないよう、フィルタリングを行わないレビューデータセットを用いてモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 AI生成偽レビューは、感情、読みやすさ、レビューサイズの観点から、本物の人の書いたレビューとどのように異なるか？
• RQ2 偽レビューを投稿するユーザーの特徴は何か。特に評判や活動レベルの観点から。
• RQ3 偽レビューは、実世界の顧客流入量（モビリティデータで測定）とどのように相関しているか？
• RQ4 ファインチューニングされたGPTモデルは、既存の検出システムを上回ってAI生成偽レビューを同定できるか？
• RQ5 偽レビューは、本物のレビューと比較して、より高い「役立つ」と感じられやすく、より肯定的な感情を示す傾向にあるか、その程度はどの程度か？

主な発見

• AI生成偽レビューは、本物のレビューと比較して平均スコアが著しく高い（+0.43、p < .001）ことから、一貫した楽観的バイアスがあることが示された。
• 偽レビューは感情スコアが+0.24（p < .001）と肯定的で、読者をだますために誇張され極端な表現が意図的に使われていることが示唆された。
• 読みやすさの指標で測定したところ、偽レビューは本物のレビューよりも理解しやすく、これはその「役立つ」と感じられる度合いや読者の関与度を高める要因となっている可能性がある。
• 偽レビューを投稿するユーザーは、Yelp上での評判が低く、より新規で、プラットフォームのモデレーションシステムによってフィルタリングされやすい可能性がある。
• 偽レビューの割合が高いレストランは、SafeGraphのモビリティデータによって確認された通り、実際の顧客訪問数が少ないことが関連しており、合成コンテンツと実世界の需要の間の画期的な関連性が明らかになった。
• ファインチューニングされたGPTモデルは、既存の検出ソリューションを上回る性能を示し、検証済みエリートレビューデータを高品質なトレーニング信号として用いることで、偽レビュー検出の有効性が裏付けられた。