[论文解读] Misinformation Detection on YouTube Using Video Captions

Raj Jagtap, Abhinav Kumar+4 more|arXiv (Cornell University)|Jul 2, 2021

Misinformation and Its Impacts参考文献 42被引用 10

一句话总结

本文提出了一种基于视频字幕的YouTube视频虚假信息检测系统，采用NLP技术处理字幕内容，在二分类任务（虚假信息 vs. 其他）中实现了最高0.95的F1得分。结果表明，基于字幕的文本特征在区分虚假信息与辟谣或中性内容方面优于仅使用元数据的表现。

ABSTRACT

Millions of people use platforms such as YouTube, Facebook, Twitter, and other mass media. Due to the accessibility of these platforms, they are often used to establish a narrative, conduct propaganda, and disseminate misinformation. This work proposes an approach that uses state-of-the-art NLP techniques to extract features from video captions (subtitles). To evaluate our approach, we utilize a publicly accessible and labeled dataset for classifying videos as misinformation or not. The motivation behind exploring video captions stems from our analysis of videos metadata. Attributes such as the number of views, likes, dislikes, and comments are ineffective as videos are hard to differentiate using this information. Using caption dataset, the proposed models can classify videos among three classes (Misinformation, Debunking Misinformation, and Neutral) with 0.85 to 0.90 F1-score. To emphasize the relevance of the misinformation class, we re-formulate our classification problem as a two-class classification - Misinformation vs. others (Debunking Misinformation and Neutral). In our experiments, the proposed models can classify videos with 0.92 to 0.95 F1-score and 0.78 to 0.90 AUC ROC.

研究动机与目标

• 为解决YouTube平台上虚假信息检测的挑战，其中诸如观看量和点赞数等元数据无法有效区分虚假信息与辟谣内容。
• 探究视频字幕（口语内容的转录文本）是否可作为识别虚假信息的可靠文本特征。
• 评估多种预训练词嵌入与机器学习模型在将视频分类为三类（虚假信息、辟谣虚假信息、中性）中的性能表现。
• 将分类任务重构为二分类问题（虚假信息 vs. 其他），以突出对有害内容的检测，提升模型专注度与性能。
• 识别出在YouTube上实现准确、可扩展的虚假信息检测的最优嵌入与分类器组合。

提出的方法

• 从一个公开的YouTube数据集中提取了涵盖五个阴谋论主题（疫苗、9/11、喷气机、月球登陆、地平论）的视频字幕（字幕）。
• 应用预训练词嵌入（GloVe、Word2Vec、Google News、Twitter训练）将字幕转换为适合NLP处理的密集向量表示。
• 采用多种机器学习分类器，包括SVM、ExtraTrees、XGBoost、AdaBoost和逻辑回归，用于多分类与二分类任务。
• 通过F1得分、精确率、召回率、准确率和AUC-ROC评估模型性能，并结合超参数调优与Top-T评分方法选择最优模型。
• 将分类问题重构为二分类任务（虚假信息 vs. 其他），以增强对有害内容检测的关注。
• 比较不同数据集（Wikipedia、Google News、Twitter）与嵌入维度（100D、300D）下的嵌入性能，以识别最有效的表示方法。

实验结果

研究问题

• RQ1 与传统元数据（如观看量、点赞数、评论数）相比，视频字幕能否提供更可靠的虚假信息检测信号？
• RQ2 各种预训练词嵌入（如GloVe、Google News、Twitter）在捕捉YouTube视频字幕中虚假信息的语义线索方面有多有效？
• RQ3 在将YouTube视频分类为虚假信息、辟谣内容与中性内容时，最优的机器学习模型与嵌入组合是什么？
• RQ4 与多分类任务相比，将分类任务重构为二分类问题（虚假信息 vs. 其他）是否能显著提升检测性能？
• RQ5 不同阴谋论主题下的模型性能指标（F1得分、AUC-ROC）有何差异？哪些主题最适于自动化检测？

主要发现

• 所提出的方法在使用字幕特征将视频分类为虚假信息、辟谣虚假信息与中性内容的多分类任务中，F1得分达到0.85至0.90之间。
• 在二分类设置（虚假信息 vs. 其他）中，模型的F1得分在0.92至0.95之间，表明其在检测有害内容方面表现强劲。
• 在二分类任务中，AUC-ROC得分范围为0.78至0.90，表明模型在虚假信息与非虚假信息内容之间具有良好的判别能力。
• 在所测试的嵌入中，GloVe 300D与Google News 300D在大多数主题上表现最佳，其中Google News 300D在9/11阴谋论等政治性主题中尤为突出。
• 9/11阴谋论主题的AUC-ROC最低（0.78），表明在政治敏感内容中，虚假信息的区分更具模糊性或复杂性。
• 在疫苗争议主题中表现最佳的模型是SVC搭配GloVe 100D，F1得分为0.97，表明该组合在健康相关虚假信息检测中具有高度可靠性。