[論文レビュー] FakeGPT: Fake News Generation, Explanation and Detection of Large Language Models

Yue Huang, Lichao Sun|arXiv (Cornell University)|Oct 8, 2023

Misinformation and Its Impacts被引用数 11

ひとこと要約

本論文は ChatGPT の偽情報の生成・説明・検出能力を調査し、検出性能を向上させるための reason-aware prompting アプローチを導入する。

ABSTRACT

The rampant spread of fake news has adversely affected society, resulting in extensive research on curbing its spread. As a notable milestone in large language models (LLMs), ChatGPT has gained significant attention due to its exceptional natural language processing capabilities. In this study, we present a thorough exploration of ChatGPT's proficiency in generating, explaining, and detecting fake news as follows. Generation -- We employ four prompt methods to generate fake news samples and prove the high quality of these samples through both self-assessment and human evaluation. Explanation -- We obtain nine features to characterize fake news based on ChatGPT's explanations and analyze the distribution of these factors across multiple public datasets. Detection -- We examine ChatGPT's capacity to identify fake news. We explore its detection consistency and then propose a reason-aware prompt method to improve its performance. Although our experiments demonstrate that ChatGPT shows commendable performance in detecting fake news, there is still room for its improvement. Consequently, we further probe into the potential extra information that could bolster its effectiveness in detecting fake news.

研究の動機と目的

• 自己評価と人間評価の双方を用いた複数の prompting 戦略を用いて、ChatGPT が偽情報を生成する能力を評価する。
• 偽情報がなぜ誤解を招くのかを説明する特徴を特定し分類する。
• ChatGPT の偽情報検出性能を評価し、それを改善するための prompting 技術を開発する。
• 検出効果をさらに高める可能性のある追加情報を探る。

提案手法

• 偽情報を生成するために4つの prompting 手法を検証し、サンプル品質を自己評価と人間評価の双方で評価する。
• ChatGPT に偽情報を説明させ、説明から9つの定義的特徴を抽出する。
• ChatGPT の偽情報検出精度を向上させるための reason-aware prompting 手法を提案する。
• 検出の一貫性と context などの追加情報の影響を評価するため、複数のデータセットを用いた実験を行う。
• 評価は2クラス(偽/実)と3クラス(偽/実/不明)の設定の両方を含み、専門の指標を用いる。

Figure 1: Multiple prompts for fake news generation through ChatGPT. The words in red mean details of generated fake news.

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は異なる prompting 戦略に渡って高品質な偽情報サンプルを生成できるか？
• RQ2 ChatGPT の説明から偽情報を最もよく特徴づける9つの特徴は何か？
• RQ3 reason-aware prompting はデータセット全体で ChatGPT の偽情報検出能力を向上させるか？
• RQ4 追加情報（例: 文脈、知識）は ChatGPT による偽情報検出をどのように補助するか？

主な発見

• ChatGPT は自己評価と人間評価の双方によると、偽情報サンプルを高品質に生成でき、実ニュースと比較可能である。
• ChatGPT の説明から特定された9つの特徴が、9つのデータセットに渡って偽情報を特徴づける。
• Reason-aware prompting はほとんどのデータセットで ChatGPT の偽情報検出性能を改善し、特に2クラスタスクで効果が高い。
• 文脈やコメントなどの追加情報は一般に検出を強化するが、データセットとタスク設定によって効果は異なる。
• ChatGPT はいくつかのデータセットで高い検出能力を示す一方、サンプルとデータセット全体では完全ではなく不一致が残る。
• 3クラス設定での最大報告精度はあるデータセットで82.6%に達し、reason-aware prompting から顕著な改善が見られる。

Figure 2: Four kinds of the prompt template.