[论文解读] Identifying Misinformation on YouTube through Transcript Contextual Analysis with Transformer Models

Christos Christodoulou, Nikos Salamanos+3 more|arXiv (Cornell University)|Jul 22, 2023

Misinformation and Its ImpactsSocial Sciences被引用 3

一句话总结

本论文提出了一种基于文本的YouTube视频虚假信息检测系统，采用微调和少样本微调的Transformer模型（如RoBERTa、ELECTRA、MPNet）对视频字幕进行分析。在疫苗和虚假新闻数据集上，系统表现优异——F1 > 0.90，MCC > 0.81；在YouTube伪科学数据集上，少样本模型相比微调模型性能高出20%，表明其在低资源场景下具有出色的泛化能力。

ABSTRACT

Misinformation on YouTube is a significant concern, necessitating robust detection strategies. In this paper, we introduce a novel methodology for video classification, focusing on the veracity of the content. We convert the conventional video classification task into a text classification task by leveraging the textual content derived from the video transcripts. We employ advanced machine learning techniques like transfer learning to solve the classification challenge. Our approach incorporates two forms of transfer learning: (a) fine-tuning base transformer models such as BERT, RoBERTa, and ELECTRA, and (b) few-shot learning using sentence-transformers MPNet and RoBERTa-large. We apply the trained models to three datasets: (a) YouTube Vaccine-misinformation related videos, (b) YouTube Pseudoscience videos, and (c) Fake-News dataset (a collection of articles). Including the Fake-News dataset extended the evaluation of our approach beyond YouTube videos. Using these datasets, we evaluated the models distinguishing valid information from misinformation. The fine-tuned models yielded Matthews Correlation Coefficient>0.81, accuracy>0.90, and F1 score>0.90 in two of three datasets. Interestingly, the few-shot models outperformed the fine-tuned ones by 20% in both Accuracy and F1 score for the YouTube Pseudoscience dataset, highlighting the potential utility of this approach -- especially in the context of limited training data.

研究动机与目标

• 开发一种鲁棒且可扩展的方法，仅基于视频字幕检测YouTube上的虚假信息。
• 评估微调Transformer模型（如BERT、RoBERTa、ELECTRA）和少样本学习（如MPNet、RoBERTa-large）在虚假信息分类中的有效性。
• 通过重叠窗口策略，解决长文档分类在字幕中的挑战。
• 评估模型在多种虚假信息类型（疫苗虚假信息、伪科学、虚假新闻文章）上的性能表现。
• 提供开源代码，以促进可复现性，并推动虚假信息检测研究的广泛应用。

提出的方法

• 通过提取并分析YouTube视频的文本字幕，将视频分类任务转化为文本分类任务。
• 在特定任务数据集上，通过微调预训练的Transformer模型（BERT、RoBERTa、ELECTRA）应用迁移学习。
• 采用少样本学习方法，利用句子嵌入模型（MPNet、RoBERTa-large），实现在极少量标注数据下的高性能。
• 采用滑动窗口策略，窗口重叠率达80%，以处理长字幕，确保关键信息不丢失。
• 应用公式 $ N = \lceil \frac{L - M}{S} \rceil + 1 $ 确定重叠窗口的数量，其中 $ L $ 为文档长度，$ M $ 为最大序列长度，$ S $ 为重叠量。
• 对每个字幕窗口进行分类，并聚合预测结果以确定最终标签（虚假信息或有效内容）。

实验结果

研究问题

• RQ1 RQ1：仅使用视频字幕时，微调的Transformer模型与少样本学习在检测YouTube视频虚假信息方面的有效性如何？
• RQ2 RQ2：这些模型在不同类型的数据库上的性能表现有何差异？
• RQ3 RQ3：如何有效利用Transformer模型处理长文档分类问题？
• RQ4 RQ4：在低资源场景下，微调模型与少样本模型的性能表现有何对比？

主要发现

• 微调后的RoBERTa在YouTube疫苗数据集上达到MCC为0.88，准确率为0.94，F1得分为0.94。
• 在YouTube伪科学数据集上，少样本MPNet优于所有微调模型，F1得分为0.78，准确率为0.72，两项指标均比微调模型高出20%。
• 微调后的ELECTRA在ISOT虚假新闻数据集上表现最佳，MCC为0.94，准确率为0.97，F1得分为0.97。
• 少样本RoBERTa-large在ISOT虚假新闻数据集上取得F1得分为0.90，准确率为0.94，优于少样本设置下的MPNet。
• 采用80%重叠率的滑动窗口策略有效保留了长上下文信息，实现了对长篇字幕的可靠分类。
• 研究表明，少样本学习在低资源场景（如标注数据稀缺的YouTube伪科学数据集）中尤为有效。