[论文解读] Multi-modal Fusion using Fine-tuned Self-attention and Transfer Learning for Veracity Analysis of Web Information

Priyanka Meel, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|Sep 26, 2021

Misinformation and Its Impacts被引用 4

一句话总结

本文提出了一种多模态真实性分析框架，通过微调 BERT/ALBERT 和 Inception-ResNet-v2 模型，结合早期融合与晚期融合策略，融合文本与视觉特征。该框架在三个不同数据集——All Data、Weibo 和 MediaEval 2016 上实现了最先进性能，证明了迁移学习与自注意力机制在跨语言和多模态场景下检测虚假新闻的有效性。

ABSTRACT

The nuisance of misinformation and fake news has escalated many folds since the advent of online social networks. Human consciousness and decision-making capabilities are negatively influenced by manipulated, fabricated, biased or unverified news posts. Therefore, there is a high demand for designing veracity analysis systems to detect fake information contents in multiple data modalities. In an attempt to find a sophisticated solution to this critical issue, we proposed an architecture to consider both the textual and visual attributes of the data. After the data pre-processing is done, text and image features are extracted from the training data using separate deep learning models. Feature extraction from text is done using BERT and ALBERT language models that leverage the benefits of bidirectional training of transformers using a deep self-attention mechanism. The Inception-ResNet-v2 deep neural network model is employed for image data to perform the task. The proposed framework focused on two independent multi-modal fusion architectures of BERT and Inception-ResNet-v2 as well as ALBERT and Inception-ResNet-v2. Multi-modal fusion of textual and visual branches is extensively experimented and analysed using concatenation of feature vectors and weighted averaging of probabilities named as Early Fusion and Late Fusion respectively. Three publicly available broadly accepted datasets All Data, Weibo and MediaEval 2016 that incorporates English news articles, Chinese news articles, and Tweets correspondingly are used so that our designed framework's outcomes can be properly tested and compared with previous notable work in the domain.

研究动机与目标

• 为应对在线社交网络中日益严重的虚假信息与虚假新闻挑战。
• 设计一种鲁棒的真实性分析系统，能够处理来自多样化网络来源的文本与视觉内容。
• 评估多模态融合策略（早期融合与晚期融合）在跨语言与多模态数据集上的有效性。
• 利用迁移学习与自注意力机制，提升虚假新闻检测的特征表示能力。

提出的方法

• 使用微调后的 BERT 和 ALBERT 模型提取文本特征，利用其深层自注意力机制实现上下文表征。
• 使用在 ImageNet 上预训练的 Inception-ResNet-v2 模型提取视觉特征，实现鲁棒的图像表征。
• 早期融合通过在分类前将文本与图像分支的最终特征向量拼接，实现特征融合。
• 晚期融合通过加权平均方式结合独立的文本与图像分类器的预测概率，实现融合。
• 该框架在三个公开数据集上进行评估：All Data（英文）、Weibo（中文）和 MediaEval 2016（推文），以确保跨语言泛化能力。
• 在文本与图像编码器中应用迁移学习，以提升在低资源和特定领域数据上的性能。

实验结果

研究问题

• RQ1 在不同数据模态下，使用早期融合与晚期融合策略的多模态融合在虚假新闻检测中的有效性如何？
• RQ2 当与深度卷积网络提取的视觉特征结合时，微调后的 BERT 和 ALBERT 模型是否能提升真实性检测性能？
• RQ3 所提出的框架在涵盖多种语言与内容类型的多样化真实世界数据集上的表现如何？
• RQ4 在检测网络内容中的虚假信息时，文本特征与视觉特征的相对贡献分别是什么？
• RQ5 迁移学习是否能提升多模态真实性分析系统在低资源或嘈杂社交媒体数据上的性能？

主要发现

• 所提出的框架在 All Data、Weibo 和 MediaEval 2016 数据集上均达到最先进性能，优于以往的多模态虚假新闻检测方法。
• 在所有三个数据集上，通过概率加权平均的晚期融合策略始终比早期融合获得更高的准确率。
• 微调后的 BERT 和 ALBERT 模型显著提升了文本表征能力，尤其在捕捉虚假信息中的细微语言线索方面表现突出。
• Inception-ResNet-v2 提供了鲁棒的视觉特征提取能力，即使在文本内容较少或具有误导性时也能实现有效检测。
• 迁移学习与自注意力机制的结合显著提升了模型在不同语言与数据类型间的泛化能力。
• 该模型在低资源与多语言场景下表现优异，尤其在中文 Weibo 数据集上表现突出。