[论文解读] Image Credibility Analysis with Effective Domain Transferred Deep Networks

Zhiwei Jin, Juan Cao+2 more|arXiv (Cornell University)|Nov 16, 2016

Misinformation and Its Impacts参考文献 28被引用 17

一句话总结

本文提出一种领域迁移的深度卷积神经网络用于图像可信度分析，利用社交媒体中大规模弱标签伪造图像数据集作为辅助数据集。通过一种类似AdaBoost的迭代迁移学习算法，模型从辅助数据集迁移知识以提升伪造图像检测性能——相比基于ImageNet的迁移学习方法表现更优，并揭示出伪造图像通常具有引人注目、画质低劣且视觉上具有干扰性的特征。

ABSTRACT

Numerous fake images spread on social media today and can severely jeopardize the credibility of online content to public. In this paper, we employ deep networks to learn distinct fake image related features. In contrast to authentic images, fake images tend to be eye-catching and visually striking. Compared with traditional visual recognition tasks, it is extremely challenging to understand these psychologically triggered visual patterns in fake images. Traditional general image classification datasets, such as ImageNet set, are designed for feature learning at the object level but are not suitable for learning the hyper-features that would be required by image credibility analysis. In order to overcome the scarcity of training samples of fake images, we first construct a large-scale auxiliary dataset indirectly related to this task. This auxiliary dataset contains 0.6 million weakly-labeled fake and real images collected automatically from social media. Through an AdaBoost-like transfer learning algorithm, we train a CNN model with a few instances in the target training set and 0.6 million images in the collected auxiliary set. This learning algorithm is able to leverage knowledge from the auxiliary set and gradually transfer it to the target task. Experiments on a real-world testing set show that our proposed domain transferred CNN model outperforms several competing baselines. It obtains superiror results over transfer learning methods based on the general ImageNet set. Moreover, case studies show that our proposed method reveals some interesting patterns for distinguishing fake and authentic images.

研究动机与目标

• 解决社交媒体上伪造图像检测的挑战，这些图像在视觉上引人注目且具有心理显著性，但在标准数据集中代表性不足。
• 通过从社交媒体构建大规模弱标签辅助数据集，克服标注伪造图像数据稀缺的问题。
• 开发一种领域自适应的深度学习框架，有效将知识从辅助数据集迁移到目标任务——图像可信度分析。
• 通过学习伪造图像中的高层级、具有心理认知意义的视觉模式，超越基于文本或低层次视觉特征的方法，提升检测性能。

提出的方法

• 从社交媒体构建一个包含60万张图像的弱标签辅助数据集，其中包含与可信度分析间接相关的真图和伪造图。
• 使用一种类似AdaBoost的迭代迁移学习算法，在辅助数据集上训练卷积神经网络，通过动态调整样本权重以提升特征迁移效果。
• 通过联合优化辅助数据集和目标数据集的样本权重，在卷积神经网络训练过程中实现迭代领域自适应，以增强知识迁移能力。
• 从训练好的卷积神经网络的多个层（C5、FC6、FC7）提取深层特征，并在目标可信度分类任务上评估其性能。
• 在迁移学习过程中采用加权集成策略，优先选择辅助集和目标集中具有信息量的样本。
• 利用更深卷积神经网络层（尤其是FC7）的语义抽象能力，捕捉与图像可信度相关的任务特定特征。

实验结果

研究问题

• RQ1 当真实数据标注稀缺时，社交媒体中大规模弱标签辅助数据集是否能有效支持伪造图像检测？
• RQ2 与基于ImageNet的标准迁移学习相比，采用加权样本选择的迭代领域迁移学习是否能提升伪造图像检测性能？
• RQ3 在心理显著性和感知影响方面，哪些视觉模式可将伪造图像与真实图像区分开来？
• RQ4 在可信度分析中，基于任务相关辅助数据集预训练的卷积神经网络深层特征，是否优于通用ImageNet预训练的特征？
• RQ5 模型的失败案例是什么？它们与模仿伪造图像模式的真实图像的视觉特征有何关联？

主要发现

• 所提出的领域迁移卷积神经网络在多个基线方法上表现更优，包括基于文本的方法、BoVW特征以及标准迁移学习方法（数据、特征和模型迁移）。
• 当使用在辅助数据集上训练的卷积神经网络的FC7层特征时，模型达到最高准确率0.755，表明高层级特征在可信度分析中更具有效性。
• 使用包含60万张弱标签图像的辅助数据集进行训练，显著优于基于ImageNet的迁移学习方法，后者在FC6层仅达到0.719的准确率。
• 案例研究显示，伪造图像在视觉上始终更具吸引力、更具视觉干扰性且画质更低，表明感知显著性是关键区分因素。
• 误报案例涉及具有高视觉显著性的真实图像，表明模型学习到了通用的伪造图像模式，可能将视觉上引人注目的真实图像错误分类。
• 模型的失败案例凸显了多模态融合的必要性，因为视觉上相似的真实图像可能被错误分类为伪造图像，表明仅依赖视觉线索存在局限性。