[论文解读] Domain Generalization for Document Authentication against Practical Recapturing Attacks

Changsheng Chen, Shuzheng Zhang+2 more|arXiv (Cornell University)|Jan 5, 2021

Digital Media Forensic Detection参考文献 34被引用 6

一句话总结

本文提出一种领域泛化的孪生网络，用于检测文档再捕获攻击（即伪造文档被打印后重新扫描）以提升真实场景下的文档认证性能。通过结合取证相似性与三元组损失和归一化Softmax损失，该方法在不同设备、基材和再捕获通道下均表现出鲁棒性能，在ResNeXt101模型下跨领域测试的APCER低于5.00%，BPCER为5.56%。

ABSTRACT

Recapturing attack can be employed as a simple but effective anti-forensic tool for digital document images. Inspired by the document inspection process that compares a questioned document against a reference sample, we proposed a document recapture detection scheme by employing Siamese network to compare and extract distinct features in a recapture document image. The proposed algorithm takes advantages of both metric learning and image forensic techniques. Instead of adopting Euclidean distance-based loss function, we integrate the forensic similarity function with a triplet loss and a normalized softmax loss. After training with the proposed triplet selection strategy, the resulting feature embedding clusters the genuine samples near the reference while pushes the recaptured samples apart. In the experiment, we consider practical domain generalization problems, such as the variations in printing/imaging devices, substrates, recapturing channels, and document types. To evaluate the robustness of different approaches, we benchmark some popular off-the-shelf machine learning-based approaches, a state-of-the-art document image detection scheme, and the proposed schemes with different network backbones under various experimental protocols. Experimental results show that the proposed schemes with different network backbones have consistently outperformed the state-of-the-art approaches under different experimental settings. Specifically, under the most challenging scenario in our experiment, i.e., evaluation across different types of documents that produced by different devices, we have achieved less than 5.00% APCER (Attack Presentation Classification Error Rate) and 5.56% BPCER (Bona Fide Presentation Classification Error Rate) by the proposed network with ResNeXt101 backbone at 5% BPCER decision threshold.

研究动机与目标

• 为应对传统被动取证技术难以检测文档再捕获攻击的挑战，通过模拟真实伪造工作流程来实现。
• 提升模型在不同领域（包括打印设备、基材、成像设备和文档类型）下的泛化能力。
• 开发一种在真实部署条件下表现稳定可靠的鲁棒且实用的文档认证系统。
• 提供首个公开可用的数据集，涵盖现实中的再捕获场景，包括打印-扫描和显示-捕获通道。

提出的方法

• 采用孪生网络架构，将可疑文档图像与参考样本进行比较，学习具有判别性的特征嵌入。
• 提出一种新型损失函数，结合三元组损失与归一化Softmax损失，并引入取证相似性函数，替代标准的欧氏距离。
• 在训练过程中采用三元组选择策略，使真实再捕获样本在特征空间中靠近参考样本，而将伪造样本相互推开。
• 通过在少量目标领域样本（例如6个三元组）上微调模型，实现对新文档类型的适应，无需完整重训练。
• 使用多种主干网络（ResNet50、DenseNet121、ResNeXt101）评估不同架构下的泛化能力与鲁棒性。
• 通过在多样化设备与基材组合上进行训练，并在未见过的组合上进行评估，实现领域泛化。

实验结果

研究问题

• RQ1 深度度量学习方法是否能在不同打印与成像设备下有效检测文档再捕获攻击？
• RQ2 所提方法在不同文档类型、基材和再捕获通道下的泛化能力如何？
• RQ3 在少量目标领域样本上微调在零样本或少样本跨领域场景下的性能提升程度如何？
• RQ4 将取证相似性与三元组损失及Softmax损失结合，相比标准损失函数，能否显著提升检测鲁棒性？

主要发现

• 采用ResNeXt101主干网络的所提方法在最具挑战性的跨领域场景下（包括不同文档类型与设备），在5% BPCER决策阈值下实现了5.00%的APCER和5.56%的BPCER。
• 在所有实验设置下（包括同设备与跨设备评估），该方法始终优于当前最先进方法。
• 仅使用6个三元组（目标数据的18.75%）对ResNet50进行微调，即可将跨设备、跨文档类型场景下的BPCER从50%降低至11.11%。
• 采用所提损失函数训练的模型在跨领域设置下，其泛化能力显著优于通用CNN、CNN+FS和CNN+TL基线模型。
• 取证相似性函数与三元组损失的结合，有效实现了真实样本在参考样本附近的聚类，同时将再捕获伪造样本分离。
• 本研究首次公开发布涵盖实际再捕获场景的数据集，包括多种文档类型与设备下的打印-扫描和显示-捕获通道。