[论文解读] Exploiting Multi-domain Visual Information for Fake News Detection

Peng Qi, Juan Cao+3 more|arXiv (Cornell University)|Aug 13, 2019

Misinformation and Its Impacts参考文献 33被引用 33

一句话总结

MVNN 将频域CNN与多分支像素域CNN-RNN及注意力融合，用于检测假新闻图片，在真实世界数据集上达到84.6%准确率，超越基线。

ABSTRACT

The increasing popularity of social media promotes the proliferation of fake news. With the development of multimedia technology, fake news attempts to utilize multimedia contents with images or videos to attract and mislead readers for rapid dissemination, which makes visual contents an important part of fake news. Fake-news images, images attached in fake news posts,include not only fake images which are maliciously tampered but also real images which are wrongly used to represent irrelevant events. Hence, how to fully exploit the inherent characteristics of fake-news images is an important but challenging problem for fake news detection. In the real world, fake-news images may have significantly different characteristics from real-news images at both physical and semantic levels, which can be clearly reflected in the frequency and pixel domain, respectively. Therefore, we propose a novel framework Multi-domain Visual Neural Network (MVNN) to fuse the visual information of frequency and pixel domains for detecting fake news. Specifically, we design a CNN-based network to automatically capture the complex patterns of fake-news images in the frequency domain; and utilize a multi-branch CNN-RNN model to extract visual features from different semantic levels in the pixel domain. An attention mechanism is utilized to fuse the feature representations of frequency and pixel domains dynamically. Extensive experiments conducted on a real-world dataset demonstrate that MVNN outperforms existing methods with at least 9.2% in accuracy, and can help improve the performance of multimodal fake news detection by over 5.2%.

研究动机与目标

• 动机：说明在假新闻检测中除了文本和社交语境外，利用视觉内容的必要性。
• 提出一个多域视觉框架（MVNN），以捕捉假新闻图片的物理特征与语义特征。
• 表明将频域特征与像素域特征融合可以提升检测性能。
• 在真实世界数据集上验证 MVNN，并与基线方法进行比较。

提出的方法

• 通过分块离散余弦变换（block DCT）将图像变换到频域，并使用CNN捕捉物理篡改/重新压缩模式。
• 在像素域使用多分支CNN-RNN（Bi-GRU）提取图像的多层语义特征。
• 通过注意力机制融合频域与像素域特征，得到最终的假新闻与真新闻分类。
• 端到端训练，使用交叉熵损失，并采用 dropout、批量归一化，以及 Adam 优化。
• 在微博假新闻数据集上以准确率、精确率、召回率和F1进行评估。

实验结果

研究问题

• RQ1 MVNN 能否仅使用视觉模态来提升假新闻检测性能？
• RQ2 频域和像素域分量，加上注意力机制与架构选择，如何影响 MVNN 的性能？
• RQ3 将文本与视觉结合时，MVNN 是否能提升多模态假新闻检测？
• RQ4 每个域和网络组件对整体性能的贡献是什么？

主要发现

• MVNN 在单视觉模态的假新闻检测中达到 84.6% 的准确率，较基线至少高出 9.2%。
• 像素域特征的贡献高于频域特征，频域提供辅助收益。
• 注意力融合、Bi-GRU 以及像素域子网络中的多分支显著提升性能。
• 消融实验表明移除频域/像素域会使准确率分别降至 0.794/0.737，移除注意力、Bi-GRU 或分支也会降低结果。
• MVNN 学习的视觉特征空间比单独任一域时对假图像与真图像的分离更清晰。