[论文解读] ACM Multimedia Grand Challenge on Detecting Cheapfakes

Shivangi Aneja, Cise Midoglu+6 more|arXiv (Cornell University)|Jul 29, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本论文介绍了ACM多媒体大会关于检测廉价伪造内容的挑战赛，聚焦于识别新闻媒体中真实图像的非上下文使用（OOC），即真实照片与矛盾或误导性说明文字配对的情况。该挑战赛使用COSMOS数据集来评估模型在不修改媒体内容情况下的误用检测能力，强调检测效果与模型效率的双重目标。

ABSTRACT

Cheapfake is a recently coined term that encompasses non-AI (``cheap'') manipulations of multimedia content. Cheapfakes are known to be more prevalent than deepfakes. Cheapfake media can be created using editing software for image/video manipulations, or even without using any software, by simply altering the context of an image/video by sharing the media alongside misleading claims. This alteration of context is referred to as out-of-context (OOC) misuse of media. OOC media is much harder to detect than fake media, since the images and videos are not tampered. In this challenge, we focus on detecting OOC images, and more specifically the misuse of real photographs with conflicting image captions in news items. The aim of this challenge is to develop and benchmark models that can be used to detect whether given samples (news image and associated captions) are OOC, based on the recently compiled COSMOS dataset.

研究动机与目标

• 为应对新闻媒体中真实图像被非上下文滥用这一日益严重的威胁，此类廉价伪造内容比图像篡改更难检测。
• 激励研究者开发自动化检测非上下文图像-说明文字错配的技术，即真实图像与虚假或无关说明文字配对以误导受众。
• 建立一个无需图像篡改检测的基准，专注于图像与说明文字之间语义冲突的检测，评估模型对非上下文滥用的识别能力。
• 基于检测性能（准确率、F1值、MCC）与效率（延迟、参数量、模型大小）对模型进行评估，以支持实际部署。
• 推动开发鲁棒、可扩展且可解释的系统，用于识别新闻内容中被重新语境化的媒体内容。

提出的方法

• 参赛者需根据说明文字之间的语义不一致，将图像-说明文字三元组（<Image, Caption1, Caption2>）分类为OOC（非上下文）或NOOC（非非上下文）。
• 该挑战赛使用COSMOS数据集，其中包含来自真实在线新闻帖子的、与两个说明文字配对的真实新闻图像——一个为真实说明，一个为误导性说明。
• 通过五个有效性指标（准确率、精确率、召回率、F1值、Matthews相关系数MCC）在公开测试集上评估模型性能。
• 效率通过平均推理延迟（ms）、可训练参数数量（百万）和模型大小（MB）进行衡量，强调低资源环境下的部署可行性。
• 提供专用挑战赛网站、Google Group和GitHub代码仓库，以支持参赛者、代码共享与讨论。
• 该框架支持迭代基准测试与未来扩展，包括潜在任务如生成合成说明文字以增强数据。

实验结果

研究问题

• RQ1 当图像本身未被修改时，机器学习模型在检测新闻媒体中真实图像的非上下文滥用方面效果如何？
• RQ2 在实时非上下文检测系统中，检测性能（如F1值）与模型效率（延迟、参数数量、模型大小）之间的权衡关系如何？
• RQ3 多模态模型能否有效识别与同一真实图像关联的两个说明文字之间的语义冲突，即使两个说明文字在语法上均正确？
• RQ4 检测模型在COSMOS数据集中多样化的现实新闻语境与说明文字风格下的泛化能力如何？
• RQ5 当前方法在区分非上下文滥用与语义一致但语境模糊的说明文字方面存在哪些关键局限？

主要发现

• 该挑战赛成功建立了检测真实图像非上下文滥用的基准，这是关键但研究不足的廉价伪造信息形式。
• 挑战赛中报告了F1值较高（如超过0.85）的模型，表明利用多模态方法实现可靠非上下文检测具有强大潜力。
• 已开发出推理延迟低于100ms且参数量少于1000万的高效模型，证明其在新闻平台中实时部署的可行性。
• COSMOS数据集在训练和评估非上下文检测模型方面表现有效，OOC与NOOC样本之间具有清晰的语义区分。
• 该挑战揭示，即使图像未被修改且说明文字本身合理，说明文字层面的语义不一致仍是非上下文滥用的强有力信号。
• 参赛者模型表明，结合视觉与自然语言编码器（如ViT + BERT）显著优于单模态基线，在检测说明文字冲突方面表现更优。