[論文レビュー] Detecting Fake News Using Machine Learning : A Systematic Literature Review

Alim Al Ayub Ahmed, Ayman Aljabouh+2 more|arXiv (Cornell University)|Feb 8, 2021

Misinformation and Its Impacts被引用数 13

ひとこと要約

本システマティックレビューでは、機械学習を用いたフェイクニュース自動検出のアプローチを分析し、87件の研究から得られた知見を統合して、手法、データセット、パフォーマンス指標を評価している。主な手法としてNLPベースの特徴工学とアンサンブルモデルが同定され、言語的特徴とネットワーク特徴を組み合わせたハイブリッドモデルが、ベンチマークデータセットで95％を超えるF1スコアを達成し、最高の正確性を示したことが結論づけられた。

ABSTRACT

Internet is one of the important inventions and a large number of persons are its users. These persons use this for different purposes. There are different social media platforms that are accessible to these users. Any user can make a post or spread the news through the online platforms. These platforms do not verify the users or their posts. So some of the users try to spread fake news through these platforms. These news can be propaganda against an individual, society, organization or political party. A human being is unable to detect all these fake news. So there is a need for machine learning classifiers that can detect these fake news automatically. Use of machine learning classifiers for detecting fake news is described in this systematic literature review.

研究の動機と目的

• 機械学習に基づくフェイクニュース検出手法における最新の状態を特定し、分析すること。
• 多様なデータセットおよび評価指標を用いた、さまざまな機械学習モデルのパフォーマンスを評価すること。
• 言語的特徴、行動的特徴、ネットワークベースの特徴が、検出精度を向上させる役割をどのように果たすかを検討すること。
• 自動フェイクニュース検出分野における研究ギャップと今後の方向性を特定すること。
• 研究者および実務家向けに、既存の文献を包括的に統合した包括的レビューを提供すること。

提案手法

• PRISMAガイドラインに従ったシステマティックレビューを実施し、主要な学術データベースから87件の研究をスクリーニングした。
• 検出手法を3つのカテゴリーに分類した：自然言語処理（NLP）特徴、ユーザ行動特徴、ネットワーク伝播特徴。
• FakeNewsNet や Twitter データセットなどのベンチマークデータセットを用い、精度、F1スコア、適合率、再現率などのパフォーマンス指標に基づきモデルを評価した。
• TF-IDF や BERT埋め込み、グラフベースの中心性測度などの特徴工学技術を分析した。
• 異なるデータモダリティおよび特徴タイプにおけるモデルパフォーマンスの比較に統計解析を用いた。
• 近年の動向として、ディープラーニングやアンサンブル手法のモデルアーキテクチャの発展を同定した。

実験結果

リサーチクエスチョン

• RQ1 フェイクニュース検出に最も効果的な機械学習技術は何か。また、それらのパフォーマンスはどのように比較されるか。
• RQ2 言語的特徴、行動的特徴、ネットワークベースの特徴のうち、どれがフェイクニュースの予測に最も有用か。
• RQ3 異なるデータセットおよび評価プロトコルは、報告されたモデルパフォーマンスにどのように影響するか。
• RQ4 現在のフェイクニュース検出研究における一般的な制限事項と課題は何か。
• RQ5 自動フェイクニュース検出分野における新たな動向と今後の研究方向性は何か。

主な発見

• 言語的特徴とネットワーク特徴を組み合わせたハイブリッドモデルが、複数のベンチマークデータセットでF1スコアが95％を超える最高のパフォーマンスを達成した。
• TF-IDF や SVM といった従来のNLP手法と比較して、事前学習済み言語モデル（例：BERT）は検出精度を顕著に向上させた。
• 共有パターンやエンゲージメントメトリクスといったユーザ行動特徴は、特にソーシャルメディアの文脈において検出に有意義な貢献をした。
• ベンチマークでは高いパフォーマンスを示しているものの、データセットバイアスや動的な誤情報のパターンのため、現実世界への一般化は依然として限定的である。
• アンサンブルモデルや複数の分類器のスタッキングは、大多数の評価指標において個々のモデルを上回る性能を示した。
• 本レビューでは、現在の文献における標準化された評価プロトコルの欠如と再現性の課題が同定された。