[論文レビュー] Assessing the Effectiveness of GPT-3 in Detecting False Political Statements: A Case Study on the LIAR Dataset

Mars Gokturk Buchholz|arXiv (Cornell University)|Jun 14, 2023

Misinformation and Its Impacts被引用数 4

ひとこと要約

本研究では、LIARデータセットを用いてGPT-3が誤った政治的発言を検出する能力を評価し、メタデータや言語的特徴を用いずに、先行する最先端モデルを上回る高い精度を達成することを示している。ゼロショットプロンプトでも、GPT-3は事前学習済みモデルに匹敵する性能を発揮し、予測の根拠となる解釈可能な証拠を提供することで、自動事実確認における透明性を高めている。

ABSTRACT

The detection of political fake statements is crucial for maintaining information integrity and preventing the spread of misinformation in society. Historically, state-of-the-art machine learning models employed various methods for detecting deceptive statements. These methods include the use of metadata (W. Wang et al., 2018), n-grams analysis (Singh et al., 2021), and linguistic (Wu et al., 2022) and stylometric (Islam et al., 2020) features. Recent advancements in large language models, such as GPT-3 (Brown et al., 2020) have achieved state-of-the-art performance on a wide range of tasks. In this study, we conducted experiments with GPT-3 on the LIAR dataset (W. Wang et al., 2018) and achieved higher accuracy than state-of-the-art models without using any additional meta or linguistic features. Additionally, we experimented with zero-shot learning using a carefully designed prompt and achieved near state-of-the-art performance. An advantage of this approach is that the model provided evidence for its decision, which adds transparency to the model's decision-making and offers a chance for users to verify the validity of the evidence provided.

研究の動機と目的

• 外部特徴を用いず、GPT-3が既存の機械学習モデルを上回って政治的発言の真偽を分類できるかどうかを評価すること。
• 信頼できる情報源からの事実的証拠を要請する、巧みに設計されたプロンプトを用いて、GPT-3.5-turboにおけるゼロショットプロンプティングの性能を評価すること。
• 各ラベルに対する予測の根拠として提示する証拠を分析することで、GPT-3の予測の透明性と解釈可能性を検証すること。
• GPT-3の学習データの収集期間の制限が事実確認タスクに与える制限を調査し、リtrieval-augmented generationによる改善可能性を検討すること。

提案手法

• メタデータや言語的特徴を一切使用せず、GPT-3をLIARデータセットに微調整した。
• GPT-3.5-turbo用にゼロショットプロンプトを設計した。このプロンプトには、PolitifactのTruth-O-Meterラベルの定義が含まれており、信頼できる出典からの事実的証拠の提示が求められた。
• 温度=0.0に設定したOpenAI Chat Completions APIを用いて、1トークンの予測を生成し、評価用にラベルを抽出した。
• テスト精度を用いて、LIARデータセット上でベースラインCNNおよびハイブリッドモデルとモデルの性能を比較した。
• モデルが出力する証拠を収集・分析し、予測を支持する根拠としての関連性と信頼性を評価した。
• マクロ平均精度を用いて性能を評価し、モデルの予測と正解ラベルとの不一致を検証した。

実験結果

リサーチクエスチョン

• RQ1 GPT-3は、メタデータや言語的特徴を一切使用せず、LIARデータセット上で最先端モデルを上回る分類精度を達成できるか？
• RQ2 微調整を施さない状態で、GPT-3のゼロショットプロンプティングは、欺瞞的な政治的発言を検出するのにどの程度効果的か？
• RQ3 GPT-3は、その真偽予測に対して、解釈可能で検証可能な証拠をどの程度提供できるか？
• RQ4 GPT-3の学習データ収集期間の制限が、事実確認タスクにおける性能に与える制限は何か？リトリーブ・アンプリーブド・ジェネレーションによる改善は可能か？
• RQ5 同じ証拠に基づいても、GPT-3の予測と専門家による事実確認ラベルの間に乖離が生じる理由は何か？

主な発見

• 微調整済みGPT-3はテスト精度0.295を達成し、最高のベースラインCNNハイブリッドモデル（0.274）を上回った。
• ゼロショットGPT-3モデルはテスト精度0.266を達成し、微調整を行わなかったにもかかわらず、ベースラインモデルと同等の性能を示した。
• GPT-3は予測の根拠として事実的証拠を提供しており、透明性を高め、ユーザーが各ラベルの背後にある推論を検証できるようにした。
• GPT-3とPolitifactのラベルに不一致が生じた。例えば、ブレア・サンダースのブレディ・ビル賛成発言を「偽」とラベル付けしたが、Politifactは「ほとんど真実」と評価していた。これは解釈の相違を示している。
• モデルの挙動から、ラベルを単に記憶しているのではなく、事実的内容に基づいて能動的に推論していることが示唆されるが、ややこしい表現を誤って解釈する場合もある。
• 将来的には、リトリーブ・アンプリーブド・ジェネレーションを活用することで、GPT-3の学習データ収集期間を超えた最近の出来事についても最新の情報を提供可能となり、性能向上が期待できる。