[論文レビュー] Adapting Fake News Detection to the Era of Large Language Models

Jinyan Su, Claire Cardie+1 more|arXiv (Cornell University)|Nov 2, 2023

Misinformation and Its Impacts被引用数 5

ひとこと要約

本稿は、大規模言語モデル（LLM）の時代におけるフェイクニュース検出手法の適応法を調査し、人間と機械が生成した真実およびフェイクニュースの両方を対象に検出性能を評価する。検出器が人間が書いたニュースのみで学習された場合、機械が生成したフェイクニュースの検出にうまく一般化するが、逆は成り立たない。また、テストセットに含まれる機械生成コンテンツの割合より低い割合で学習データを構成することで、バイアスを低減し、耐性を高められるよう推奨する。

ABSTRACT

In the age of large language models (LLMs) and the widespread adoption of AI-driven content creation, the landscape of information dissemination has witnessed a paradigm shift. With the proliferation of both human-written and machine-generated real and fake news, robustly and effectively discerning the veracity of news articles has become an intricate challenge. While substantial research has been dedicated to fake news detection, this either assumes that all news articles are human-written or abruptly assumes that all machine-generated news are fake. Thus, a significant gap exists in understanding the interplay between machine-(paraphrased) real news, machine-generated fake news, human-written fake news, and human-written real news. In this paper, we study this gap by conducting a comprehensive evaluation of fake news detectors trained in various scenarios. Our primary objectives revolve around the following pivotal question: How to adapt fake news detectors to the era of LLMs? Our experiments reveal an interesting pattern that detectors trained exclusively on human-written articles can indeed perform well at detecting machine-generated fake news, but not vice versa. Moreover, due to the bias of detectors against machine-generated texts \cite{su2023fake}, they should be trained on datasets with a lower machine-generated news ratio than the test set. Building on our findings, we provide a practical strategy for the development of robust fake news detectors.

研究の動機と目的

• フェイクニュース検出器の性能が、人間と機械が生成した真実およびフェイクニュースという多様なコンテンツソースにおいてどのように変化するか、その理解のギャップを埋める。
• 人間が書いたニュースのみで学習した検出器が、機械が生成したフェイクニュースを検出できるかどうかを調査する。
• 特に機械生成コンテンツの割合に注目し、学習データの構成が検出器の性能とバイアスに与える影響を検討する。
• LLM時代における、あらゆるニュースカテゴリにわたる一般化性と公平性を向上させる実用的な学習戦略を提供する。
• 進化を続けるLLMが生成するコンテンツの文脈において、分布シフトとモデルバイアスの問題意識を高める。

提案手法

• RoBERTa、BERT、ELECTRA、ALBERT、DeBERTaといったフェイクニュース検出器を、人間が書いた真実（HR）、人間が書いたフェイク（HF）、機械が言い換えした真実（MR）、機械が生成したフェイク（MF）という4つのニュースカテゴリに対して包括的に評価した。
• 人間と機械が生成したデータの異なる割合で検出器を学習させ、0%、50%、100%の機械生成コンテンツを含む状況を含めた。
• ドメイン内およびドメイン外の検出精度を用いて性能を評価し、クラスごとの精度と分布シフトへの耐性に注目した。
• ドメイン間での性能低下を分析し、一般化能力を評価した。特に、全人間データで学習したモデルと混合データで学習したモデルを比較した。
• 時間的経過を三段階のフレームワーク（人間主導時代、一時的共存時代、機械主導時代）でモデル化し、進化するデータ分布のシフトを表現した。
• テストセットに含まれる機械生成コンテンツの割合よりも、学習データにおける機械生成コンテンツの割合を低くすることで、検出器バイアスを軽減する学習戦略を提案した。

実験結果

リサーチクエスチョン

• RQ1 人間が書いたニュースのみで学習したフェイクニュース検出器は、機械が生成したフェイクニュースを効果的に検出できるか？
• RQ2 学習データにおける機械生成コンテンツの割合が、さまざまなニュースカテゴリにおける検出器性能に与える影響は何か？
• RQ3 学習データの構成が、ドメイン外の分布への一般化に与える影響は何か？
• RQ4 機械生成コンテンツや人間が書いたニュースに対して検出器が示すバイアスが、さまざまなニュースタイプの検出精度に与える影響は何か？
• RQ5 LLMによる進化するデータ分布に対応するため、どのような学習戦略が耐性と公平性の向上に寄与するか？

主な発見

• 人間が書いたニュース（HRおよびHF）のみで学習した検出器は、機械が生成したフェイクニュース（MF）の検出において優れた性能を示し、生成元の違いを越えて一般化していることが示された。
• 逆は成り立たない：機械生成コンテンツで学習した検出器は、人間が書いたフェイクニュースを効果的に検出できないことが明らかになり、重大な非対称性が浮き彫りになった。
• テストセットに含まれる機械生成ニュースの割合よりも、学習データにおける機械生成ニュースの割合を低くすることで、全体的な性能が向上し、分布シフトに伴う性能低下も軽減された。
• 人間が書いたニュースのみで学習した検出器は、MFの検出精度がHFの検出精度よりも高い傾向を示し、MFに接触したことがないにもかかわらず、これは人間が書いたフェイクニュースに対する固有のバイアスを示している。
• HR、HF、MR、MFを含む混合データを組み込むことで、ドメイン外一般化性能が向上し、とくに実際とフェイクのバランスの取れた混合データを含む学習データで顕著だった。
• 全人間データで学習した場合、人間が書いた真実ニュース（HR）の性能低下が著しく、RoBERTaでは精度が-52.27も低下した。これは強いドメインシフト問題を示している。