[论文解读] Multi-clue reconstruction of sharing chains for social media images

Sebastiano Verde, Cecilia Pasquini+5 more|arXiv (Cornell University)|Aug 5, 2021

Digital Media Forensic Detection被引用 4

一句话总结

本文提出了一种监督式、级联式的框架，通过融合多种取证线索（内容相关，如DCT、元数据；容器相关，如图像头文件特征），实现对社交媒体平台上图像分享链的重建。该系统在追踪最多三步分享行为时达到81%的准确率，通过早期检测Twitter上传（因其具有破坏性取证痕迹）进一步提升了性能。

ABSTRACT

The amount of multimedia content shared everyday, combined with the level of realism reached by recent fake-generating technologies, threatens to impair the trustworthiness of online information sources. The process of uploading and sharing data tends to hinder standard media forensic analyses, since multiple re-sharing steps progressively hide the traces of past manipulations. At the same time though, new traces are introduced by the platforms themselves, enabling the reconstruction of the sharing history of digital objects, with possible applications in information flow monitoring and source identification. In this work, we propose a supervised framework for the reconstruction of image sharing chains on social media platforms. The system is structured as a cascade of backtracking blocks, each of them tracing back one step of the sharing chain at a time. Blocks are designed as ensembles of classifiers trained to analyse the input image independently from one another by leveraging different feature representations that describe both content and container of the media object. Individual decisions are then properly combined by a late fusion strategy. Results highlight the advantages of employing multiple clues, which allow accurately tracing back up to three steps along the sharing chain.

研究动机与目标

• 解决在社交媒体中重建图像分享历史的挑战，以支持源识别并应对虚假信息。
• 克服传统媒体取证方法在重复分享和平台转换下性能下降的局限性。
• 开发一种可扩展的监督式框架，能够利用异构取证特征回溯多个分享步骤。
• 研究特定平台（尤其是Twitter）对共享图像取证可追溯性的影响。
• 通过在级联架构中采用晚期融合策略，融合内容相关与容器相关特征，提升重建准确率。

提出的方法

• 设计一系列回溯模块，每个模块负责识别链中前序的一个分享步骤。
• 在不同的特征表示上分别训练分类器：DCT系数、元数据（META）和图像头文件数据（HEADER）。
• 采用晚期融合策略，整合多个分类器的决策结果，以增强鲁棒性与准确率。
• 引入一组新型容器相关特征，从图像文件头中提取，以补充基于信号的取证线索。
• 实施拒绝机制以过滤不确定的预测结果，关键优化在于：一旦检测到Twitter上传即中止重建过程，因其具有高度破坏性。
• 采用分层类别简化策略，将模糊的分享模式（如*-*TW和*TW-*）归入更广泛的类别，以提升后期阶段的泛化能力。

实验结果

研究问题

• RQ1 图像内容与容器（头文件）中的取证特征在多大程度上可被融合，以重建跨平台的分享链？
• RQ2 Twitter上传的存在在多大程度上影响了链中先前分享步骤的可追溯性？
• RQ3 级联式多线索分类框架是否能优于单一特征方法，在重建图像分享历史方面表现更优？
• RQ4 如何最优地融合多样化取证特征（DCT、元数据、头文件）以最大化重建准确率？
• RQ5 尽管Twitter上传具有破坏性，但其早期检测在多大程度上能提升整体重建性能？

主要发现

• DCT、元数据与基于头文件的特征融合在第三步回溯（F_{-2}）时达到81.05%的准确率，拒绝率为3.77%。
• 引入基于头文件的特征显著提升了F_{-1}与F_{-2}阶段的性能：当与DCT和元数据融合时，F_{-2}阶段准确率达90.57%，拒绝率仅为0.10%。
• Twitter上传被发现对取证可追溯性具有高度破坏性，导致在跨平台链中产生严重混淆，尤其在后续连接其他平台时更为明显。
• 通过在检测到Twitter上传时中止重建，智能级联系统显著降低了拒绝率，尤其在F_{-2}阶段，成功解决了模糊子链的问题。
• 混淆矩阵显示，误分类主要发生在同一平台连续出现时（如FB-FB），表明在区分重复平台使用方面存在挑战。
• 单一分类器在深层步骤表现欠佳：DCT单独使用在F_{-2}阶段仅达51.04%准确率，而HEADER单独使用仅达56.23%，凸显多线索融合的必要性。