[論文レビュー] A Deep Learning Approach for Automatic Detection of Fake News

Tanik Saikh, Arkadipta De+2 more|arXiv (Cornell University)|May 11, 2020

Misinformation and Its Impacts参考文献 20被引用数 21

ひとこと要約

本稿では、手作業による特徴量設計に依存せずに、多分野のフェイクニュース検出のための2つのディーブラーニングモデル—BiGRUベースおよびELMoベース—を提案する。それぞれ、FakeNews AMTおよびCelebrityデータセットにおいて、手作業による特徴量ベースの手法を3.08%および9.3%上回る最先端の性能を達成した。

ABSTRACT

Fake news detection is a very prominent and essential task in the field of journalism. This challenging problem is seen so far in the field of politics, but it could be even more challenging when it is to be determined in the multi-domain platform. In this paper, we propose two effective models based on deep learning for solving fake news detection problem in online news contents of multiple domains. We evaluate our techniques on the two recently released datasets, namely FakeNews AMT and Celebrity for fake news detection. The proposed systems yield encouraging performance, outperforming the current handcrafted feature engineering based state-of-the-art system with a significant margin of 3.08% and 9.3% by the two models, respectively. In order to exploit the datasets, available for the related tasks, we perform cross-domain analysis (i.e. model trained on FakeNews AMT and tested on Celebrity and vice versa) to explore the applicability of our systems across the domains.

研究の動機と目的

• 政治的または風刺的コンテンツに限定して焦点を当てている既存のフェイクニュース検出システムの限界を解決すること。
• 政治、エンタメ、スポーツ、教育、ビジネスを含む、多様な分野にまたがるフェイクニュース検出に拡張すること。
• 手作業による言語的特徴量や複雑なNLPパイプラインを必要としないエンドツーエンドのディープニューラルネットワークを構築すること。
• FakeNews AMTおよびCelebrityデータセットを用いたクロスドメイン学習とテストを通じて、モデルの一般化能力を評価すること。
• フェイクニュース検出における分野特有のパターンの役割を調査し、今後の外部知識の統合やトランスファー学習の可能性を検討すること。

提案手法

• 分類のためのニューステキスト内の順序的依存関係を捉えるために、双方向ゲート付き再帰ユニット（BiGRU）ネットワークを採用する。
• 手作業による特徴抽出に依存せずに文脈を反映した単語表現を捉えるために、事前学習済みのELMo埋め込みを活用する。
• 生テキスト入力をフェイク/信頼できるラベルに直接マッピングするエンドツーエンドのディープニューラルネットワークを設計し、特徴量設計を回避する。
• 多様な分野にまたがるトピック・ドキュメント・ラベルの三つ組を含む2つの多分野データセット（FakeNews AMTおよびCelebrityニュース）でモデルを学習する。
• 1つのデータセットで学習し、もう一方のデータセットでテストすることで、クロスドメイン評価を実施し、一般化能力を評価する。
• ニュースコンテンツ内の重要なフレーズに注目できるアーキテクチャの能力を通じて、アテンション機構を暗黙的に適用する。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、多分野のフェイクニュース検出において、従来の手作業による特徴量ベースのアプローチを上回ることができるか？
• RQ2 BiGRUおよびELMoベースのモデルは、政治、エンタメ、教育など多様な分野において、フェイクニュース検出にどの程度効果的か？
• RQ3 フェイクニュース検出の文脈において、1つの分野で学習したモデルが、他の分野にどの程度一般化できるか？
• RQ4 分野特有のパターンは、フェイクニュース検出システムの性能と信頼性にどのような影響を及ぼすか？
• RQ5 WordNetなどの外部知識ソースや、トランスファー学習モデル（例：BERT、XLNet）を今後の拡張に統合することで、検出性能をどのように向上させられるか？

主な発見

• BiGRUベースのモデルは、FakeNews AMTデータセットにおいて、最先端のSVMベースのシステムを3.08%上回る精度を達成した。
• ELMoベースのモデルは、Celebrityニュースデータセットにおいて、SOTAシステムを9.3%上回り、多分野設定における優れた一般化性能を示した。
• クロスドメイン評価の結果、1つのデータセットで学習したモデルが、もう一方のデータセットでテストされた際にも顕著な性能を示した。これは、ある程度のドメイン間転送性があることを示している。
• 両分野において誤分類が観察された。特にエンタメやビジネス分野では、信頼できるニュースが誤ってフェイクとラベル付けされた。これは、ニュアンスの複雑なコンテンツに対する課題を示している。
• 研究結果は、ドメインの文脈がフェイクニュース検出において極めて重要な役割を果たしていることを確認しており、ドメインに配慮したモデリングがさらなる性能向上に寄与する可能性がある。
• エンドツーエンドのディープラーニングアーキテクチャの有効性が裏付けられ、特に手作業による言語的特徴量設計に依存しない場合に顕著である。