[論文レビュー] Applying Automatic Text Summarization for Fake News Detection

Philipp Hartl, Udo Kruschwitz|arXiv (Cornell University)|Apr 4, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

本稿では、抽出的要約および要約的要約を統合したBERTベースの文脈埋め込みを組み合わせることで、フェイクニュース検出を向上させる、CMTR-BERTと呼ばれるアンサンブル深層学習フレームワークを提案する。階層的表現と文脈特徴を組み合わせることで、2つのベンチマークデータセットにおいて最先端の性能を達成し、要約と文脈情報が検出精度を顕著に向上させることを示している。

ABSTRACT

The distribution of fake news is not a new but a rapidly growing problem. The shift to news consumption via social media has been one of the drivers for the spread of misleading and deliberately wrong information, as in addition to it of easy use there is rarely any veracity monitoring. Due to the harmful effects of such fake news on society, the detection of these has become increasingly important. We present an approach to the problem that combines the power of transformer-based language models while simultaneously addressing one of their inherent problems. Our framework, CMTR-BERT, combines multiple text representations, with the goal of circumventing sequential limits and related loss of information the underlying transformer architecture typically suffers from. Additionally, it enables the incorporation of contextual information. Extensive experiments on two very different, publicly available datasets demonstrates that our approach is able to set new state-of-the-art performance benchmarks. Apart from the benefit of using automatic text summarization techniques we also find that the incorporation of contextual information contributes to performance gains.

研究の動機と目的

• フェイクニュース検出において、BERTの入力長制限を超える長大なニュース記事の処理に課題を提起すること。
• 自動テキスト要約が情報損失を低減し、分類性能を向上させることを調査すること。
• 文脈情報（例：ソースURL、ツイート）がフェイクニュース検出の精度に与える影響を評価すること。
• アンサンブルBERTモデルを用いた、言語に依存しない、再現可能なフェイクニュース検出フレームワークの開発。
• 複数のテキスト表現を組み合わせることで、個々のアプローチを上回る性能が得られるかどうかを調査すること。

提案手法

• 階層的トランスフォーマー、抽出的要約、要約的要約の3つのテキスト表現手法を統合した、CMTR-BERTと呼ばれるアンサンブルモデルを提案。
• 元のテキストだけでなく、要約済みおよび文脈化された入力に対してもBERT埋め込みを適用し、意味的豊かさを保持。
• 抽出的要約にはBERTベースの抽出的モデルを、要約的要約には系列対系列モデルを適用。
• 長大なシーケンスを処理するため、テキストを扱いやすいセグメントに分割する階層的入力表現を導入。
• ソースURLや関連するソーシャルメディア投稿（ツイート）といった文脈特徴を追加の入力モodalとして統合。
• 複数のテキスト表現からの予測を統合するアンサンブル戦略を採用し、モデルのロバスト性と精度を向上。

実験結果

リサーチクエスチョン

• RQ1 自動テキスト要約技術は、フェイクニュース検出のための長大なニュース記事における情報損失を効果的に低減できるか？
• RQ2 文脈特徴（例：ソースURL、ツイート）の統合が、フェイクニュース検出モデルの性能に与える影響は何か？
• RQ3 抽出的、要約的、階層的の複数のテキスト表現を組み合わせることで、単一の表現を用いる場合よりも優れた性能が得られるか？
• RQ4 要約手法の選択（抽出的対要約的）が、モデルの性能にどの程度依存しているか？
• RQ5 提案されたフレームワークは、異なるデータセットや言語に一般化可能か？また、標準的なBERTベースラインと比較してどうか？

主な発見

• CMTR-BERTはCT-FAN 21データセットにおいて最先端の性能を達成し、標準BERTおよび他のベースラインを顕著に上回った。
• 文脈情報（例：ソースURL、ツイート）の統合により、PolitifactおよびGossipCopデータセットの両方で統計的に有意な性能向上が見られ、p < 0.01であった。
• アンサンブルモデル（CMTR-BERT）は、抽出的または要約的要約のみを用いるモデルよりも顕著に優れており、後続の検定でp < 0.01であった。
• 抽出的要約はCT-FAN 21で性能向上をもたらしたが、要約的要約は全データセットで負の効果または中立的効果を示した。
• 階層的入力表現はCT-FAN 21で顕著な性能向上をもたらした（Z = 46, p < 0.05）が、FakeNewsNetのドメインでは同様の効果は得られなかった。
• FakeNewsNetの1つのドメインで微調整し、別のドメインでテストすると性能が低下したため、文脈に配慮したシステムはコンテンツのみに依存するモデルよりも一般化性能に優れていると考えられる。