[論文レビュー] Automatic Detection of Fake News

Verónica Pérez‐Rosas, Bennett Kleinberg+2 more|arXiv (Cornell University)|Aug 23, 2017

Misinformation and Its Impacts参考文献 13被引用数 377

ひとこと要約

この論文は複数のドメインにまたがる二つのフェイクニュースデータセットを紹介し、言語特徴に基づく検出器がかなり高い精度を達成する一方、人間のベースラインは一部のドメインで同等またはそれ以上の性能を示します。

ABSTRACT

The proliferation of misleading information in everyday access media outlets such as social media feeds, news blogs, and online newspapers have made it challenging to identify trustworthy news sources, thus increasing the need for computational tools able to provide insights into the reliability of online content. In this paper, we focus on the automatic identification of fake content in online news. Our contribution is twofold. First, we introduce two novel datasets for the task of fake news detection, covering seven different news domains. We describe the collection, annotation, and validation process in detail and present several exploratory analysis on the identification of linguistic differences in fake and legitimate news content. Second, we conduct a set of learning experiments to build accurate fake news detectors. In addition, we provide comparative analyses of the automatic and manual identification of fake news.

研究の動機と目的

• 複数ドメインにわたるオンラインニュースの信頼性を評価するために計算機ツールの必要性を動機づける。
• クラウドソースとウェブ由来の二つの新規フェイクニュースデータセット（正解ラベル付き）を提供する。
• 語彙・統語・可読性・心理言語学的特徴を用いて、偽ニュースと正当なニュースの言語的差異を探究する。
• 機械学習を用いたフェイクニュース検出器を構築・評価し、ベースラインを確立するとともに人間の性能と比較する。

提案手法

• FakeNewsAMT（crowdsourced）と Celebrity（web-derived）という二つの偽ニュースデータセットを、偽記事と実記事が対になった形で構築する。
• N-grams (tf-idf)、句読点（LIWCベース）、LIWCの意味論/心理言語学的カテゴリ、可読性指標、文法（CFGベース）特徴を含む広い特徴量セットを抽出する。
• 異なる特徴サブセットを用いた5-fold cross-validationで線形SVM分類器を訓練し、精度、適合率、再現率、F1で評価する。
• Abalationを実施して、データセットごとに最も性能の良い特徴セットを特定する（例：FakeNewsAMTではReadable性、Celebrityでは句読点とLIWC系の変種）。
• 検出器の一般化を評価するため、ドメイン間およびドメイン横断の実験を行う。
• 自動検出器の性能を両データセットで人間のアノテーターと比較する。

実験結果

リサーチクエスチョン

• RQ1 二つのマルチドメインフェイクニュースデータセット（クラウドソースとウェブ由来）は、フェイクニュースの自動検出に有効か？
• RQ2 偽ニュースと正当なニュースをドメイン横断で最も識別する言語特徴ファミリー（語彙、統語、可読性、心理言語学）はどれか？
• RQ3 データセット間およびニュースドメイン間でのクロスドメイン転移はどのように機能するか？
• RQ4 機械の性能と人間の能力は偽ニュースと正当なニュースを判断する際にどのように比較されるか？

主な発見

• 言語的特徴を用いた検出器は、データセット間でランダム(0.50)を大きく上回る精度を達成する。
• FakeNewsAMTでは、Readable性特徴が最も良い性能を発揮し、ベースラインを大きく上回る精度を示す；全言語特徴を組み合わせるとさらに高い性能を示す。
• Celebrityウェブデータセットでは、句読点特徴が最も強力な個別性能を提供し、次いでN-grams、完全なLIWC、Syntax特徴が続く。
• クロスドメイン実験は、同一ドメイン内の結果と比べて顕著な性能低下を示し、ドメイン依存の欺瞞指標があることを示唆する。
• ドメインを跨いで、政治、教育、技術は比較的堅牢なクロスドメイン性能を示す一方、スポーツ、ビジネス、エンターテインメントはよりドメイン特有である。
• 自動検出器は人間の判断と比較して競争力があり、場合によってはCelebrityドメインで人間を上回る。