[論文レビュー] Misinformation Detection on YouTube Using Video Captions

Raj Jagtap, Abhinav Kumar+4 more|arXiv (Cornell University)|Jul 2, 2021

Misinformation and Its Impacts参考文献 42被引用数 10

ひとこと要約

本稿では、動画の字幕に自然言語処理技術を適用して、YouTube動画の誤情報検出システムを提案している。二値分類（誤情報対その他）において最大0.95のF1スコアを達成した。また、誤情報と事実確認や中立的コンテンツを区別する際、メタデータのみに依存するのではなく、字幕に基づくテキスト特徴量が優れていることを示した。

ABSTRACT

Millions of people use platforms such as YouTube, Facebook, Twitter, and other mass media. Due to the accessibility of these platforms, they are often used to establish a narrative, conduct propaganda, and disseminate misinformation. This work proposes an approach that uses state-of-the-art NLP techniques to extract features from video captions (subtitles). To evaluate our approach, we utilize a publicly accessible and labeled dataset for classifying videos as misinformation or not. The motivation behind exploring video captions stems from our analysis of videos metadata. Attributes such as the number of views, likes, dislikes, and comments are ineffective as videos are hard to differentiate using this information. Using caption dataset, the proposed models can classify videos among three classes (Misinformation, Debunking Misinformation, and Neutral) with 0.85 to 0.90 F1-score. To emphasize the relevance of the misinformation class, we re-formulate our classification problem as a two-class classification - Misinformation vs. others (Debunking Misinformation and Neutral). In our experiments, the proposed models can classify videos with 0.92 to 0.95 F1-score and 0.78 to 0.90 AUC ROC.

研究の動機と目的

• 視聴回数やいいね数といったメタデータが、誤情報と事実確認コンテンツを区別するのには効果が薄いYouTubeにおける誤情報検出の課題に対処すること。
• 動画の字幕（発話内容の字幕）が、誤情報の特定に有用なテキスト特徴量として機能するかどうかを調査すること。
• さまざまな事前学習済み単語埋め込みと機械学習モデルの性能を、誤情報、誤情報の事実確認、中立の3つのカテゴリに動画を分類するタスクにおいて評価すること。
• 誤情報検出の焦点を高めるために、分類タスクを二値問題（誤情報対その他）に再定式化し、モデルの性能と集中度を向上させること。
• YouTubeにおける誤情報検出の正確性とスケーラビリティを高めるために、最適な埋め込みと分類器の組み合わせを同定すること。

提案手法

• 5つの陰謀論的トピック（ワクチン、9/11、化学凝結雲、月面着陸、フラットアース）をカバーする、公開済みのYouTubeデータセットから動画の字幕（字幕）を抽出した。
• GloVe、Word2Vec、Google News、Twitterで学習済みの事前学習済み単語埋め込みを用い、字幕をNLP処理に適した密なベクトル表現に変換した。
• SVM、ExtraTrees、XGBoost、AdaBoost、ロジスティック回帰などの複数の機械学習分類器を、多クラス分類および二値分類タスクに適用した。
• F1スコア、適合率、再現率、正答率、AUC-ROCを指標にモデル性能を評価し、ハイパーパramータチューニングとトップTスコアリング手法を用いて最適なモデルを選定した。
• 誤情報検出の焦点を高めるために、分類問題を二値タスク（誤情報対その他）に再定式化した。
• Wikipedia、Google News、Twitterの異なるデータセットと埋め込み次元（100D、300D）を比較し、最も効果的な表現を同定した。

実験結果

リサーチクエスチョン

• RQ1 視聴回数やいいね数、コメントといった従来のメタデータに比べて、動画の字幕が誤情報検出により信頼できるシグナルを提供できるか？
• RQ2 GloVe や Google News、Twitter で学習されたさまざまな事前学習済み単語埋め込みは、YouTube動画の字幕における誤情報の識別に、意味的ヒントを効果的に捉えられるか？
• RQ3 誤情報、事実確認、中立の3つのカテゴリに分類するための、最適な機械学習モデルと埋め込みの組み合わせは何か？
• RQ4 誤情報対その他という二値分類タスクに再定式化することで、多クラス分類に比べて検出性能が顕著に向上するか？
• RQ5 F1スコアやAUC-ROCといったモデル性能指標は、異なる陰謀論的トピックでどのように変動するか？また、どのトピックが自動検出に最も適しているか？

主な発見

• 本手法は、字幕に基づく特徴量を用いて、誤情報、誤情報の事実確認、中立の3つのカテゴリに分類する際、多クラス分類でF1スコア0.85〜0.90を達成した。
• 二値分類設定（誤情報対その他）では、F1スコアが0.92〜0.95に達し、有害なコンテンツの検出において優れた性能を示した。
• 二値分類タスクにおけるAUC-ROCスコアは0.78〜0.90の範囲にあり、誤情報と非誤情報コンテンツの区別能力が良好であることを示した。
• テストされた埋め込みの中では、GloVe 300D と Google News 300D が大多数のトピックで最高の性能を示した。特に、9/11陰謀論のような政治的トピックでは Google News 300D が優れた性能を発揮した。
• 9/11陰謀論トピックではAUC-ROCが最低の0.78にとどまり、政治的・感情的なコンテンツにおける誤情報の区別が困難である可能性を示唆した。
• ワクチン論争トピックでは、SVCにGloVe 100Dを組み合わせたモデルが最も優れており、F1スコア0.97を達成した。これは、健康関連の誤情報検出において高い信頼性があることを示している。