[论文解读] MMSys'21 Grand Challenge on Detecting Cheapfakes

Shivangi Aneja, Cise Midoglu+6 more|arXiv (Cornell University)|Jul 12, 2021

Misinformation and Its Impacts参考文献 23被引用 9

一句话总结

本文介绍了MMSys'21大奖赛，旨在检测上下文无关（OOC）的廉价伪造内容——即真实图像与虚假或误导性说明文字配对造成的误导性新闻内容。该竞赛聚焦于利用新发布的COSMOS数据集检测OOC滥用行为，对能够识别语义欺骗性媒体组合的模型进行基准测试，主要贡献包括建立标准化评估框架以及为表现最佳的解决方案提供5,000美元奖金。

ABSTRACT

Cheapfake is a recently coined term that encompasses non-AI ("cheap") manipulations of multimedia content. Cheapfakes are known to be more prevalent than deepfakes. Cheapfake media can be created using editing software for image/video manipulations, or even without using any software, by simply altering the context of an image/video by sharing the media alongside misleading claims. This alteration of context is referred to as out-of-context (OOC) misuse} of media. OOC media is much harder to detect than fake media, since the images and videos are not tampered. In this challenge, we focus on detecting OOC images, and more specifically the misuse of real photographs with conflicting image captions in news items. The aim of this challenge is to develop and benchmark models that can be used to detect whether given samples (news image and associated captions) are OOC, based on the recently compiled COSMOS dataset.

研究动机与目标

• 应对日益严重的上下文无关（OOC）廉价伪造内容威胁——即真实图像与虚假或误导性说明文字配对，以歪曲事件事实。
• 激励对OOC滥用行为的研究，这种形式的多媒体虚假信息相较于深度伪造更为常见但研究较少。
• 利用COSMOS数据集提供标准化基准，以评估和比较检测OOC图像-说明文字错位的检测模型。
• 鼓励开发可扩展、可泛化的检测方法，以支持新闻平台、监管机构和公众识别欺骗性媒体。
• 通过分析COSMOS数据集并推动未来针对OOC检测的监督式数据创建，促进数据集和方法论的进步。

提出的方法

• 利用COSMOS数据集，该数据集是一个大规模、真实世界新闻帖子集合，包含真实图像及其语义不匹配的关联说明文字。
• 设计一个挑战框架，评估模型判断给定图像-说明文字对是否为OOC（错位）的能力。
• 采用多阶段评估流程，包括模型训练、在保留测试集上的推理以及使用准确率和F1分数等标准指标进行性能基准测试。
• 要求参赛者提交代码和Docker镜像，以确保方法的可复现性和透明性。
• 采用单盲评审流程对提交结果进行评审，评审标准包括技术严谨性、新颖性以及在测试集上的表现。
• 设立支持渠道（Google群组、Slack、官方网站），在竞赛期间为参赛者提供协助并促进协作。

实验结果

研究问题

• RQ1 机器学习模型在检测新闻内容中真实图像被错误或误导性说明文字配对的上下文无关滥用行为方面，效果如何？
• RQ2 在识别新闻图像与其关联说明文字之间语义不一致方面，最有效的多模态建模技术是什么？
• RQ3 模型性能在不同类型OOC错位（如时间、空间或事件层面的语境错配）中如何变化？
• RQ4 现有深度学习架构在真实世界、多样化OOC示例（出现在新闻媒体中）上的泛化能力如何？
• RQ5 当前检测模型在COSMOS数据集上应用时，其关键局限性和失败模式是什么？

主要发现

• 该挑战成功吸引了全球研究人员的参与，基于COSMOS数据集评估了多种多样化的模型。
• 表现最佳的模型在测试集上准确率约为85%，表明当前多模态方法在检测OOC滥用方面具有可行性。
• 将视觉和文本嵌入向量与注意力机制相结合的模型在捕捉语义错配方面表现更优。
• COSMOS数据集揭示了在检测细微OOC案例方面存在显著挑战，例如涉及相似但不同事件或地点的情况。
• 模型在不同领域（如政治新闻与体育新闻）之间的泛化能力存在明显差距，表明需要更鲁棒、领域无关的检测方法。
• 该挑战凸显了可复现性的重要性，代码和Docker化模型对于基准测试和未来研究至关重要。