[논문 리뷰] Domain Generalization for Document Authentication against Practical Recapturing Attacks

Changsheng Chen, Shuzheng Zhang외 2명|arXiv (Cornell University)|2021. 01. 05.

Digital Media Forensic Detection참고 문헌 34인용 수 6

한 줄 요약

이 논문은 실제 환경에서 문서 인증을 향상시키기 위해 문서 재스캔 공격(위조된 문서를 인쇄하고 재스캔하는 방식)을 탐지하기 위한 도메인 일반화된 시アン식 네트워크를 제안한다. 포렌식 유사도와 트리플릿 및 정규화된 소프트맥스 손실을 통합함으로써 다양한 장치, 기초재료, 재스캔 채널에서 견고한 성능을 달성하며, ResNeXt101을 사용한 교차도메인 테스트에서 APCER가 <5.00%이고 BPCER가 5.56%에 도달한다.

ABSTRACT

Recapturing attack can be employed as a simple but effective anti-forensic tool for digital document images. Inspired by the document inspection process that compares a questioned document against a reference sample, we proposed a document recapture detection scheme by employing Siamese network to compare and extract distinct features in a recapture document image. The proposed algorithm takes advantages of both metric learning and image forensic techniques. Instead of adopting Euclidean distance-based loss function, we integrate the forensic similarity function with a triplet loss and a normalized softmax loss. After training with the proposed triplet selection strategy, the resulting feature embedding clusters the genuine samples near the reference while pushes the recaptured samples apart. In the experiment, we consider practical domain generalization problems, such as the variations in printing/imaging devices, substrates, recapturing channels, and document types. To evaluate the robustness of different approaches, we benchmark some popular off-the-shelf machine learning-based approaches, a state-of-the-art document image detection scheme, and the proposed schemes with different network backbones under various experimental protocols. Experimental results show that the proposed schemes with different network backbones have consistently outperformed the state-of-the-art approaches under different experimental settings. Specifically, under the most challenging scenario in our experiment, i.e., evaluation across different types of documents that produced by different devices, we have achieved less than 5.00% APCER (Attack Presentation Classification Error Rate) and 5.56% BPCER (Bona Fide Presentation Classification Error Rate) by the proposed network with ResNeXt101 backbone at 5% BPCER decision threshold.

연구 동기 및 목표

• 기존 수동 포렌식 기법을 회피하는 문서 재스캔 공격을 탐지하기 위해 실제 위조 워크플로우를 시뮬레이션함으로써 도전 과제를 해결한다.
• 인쇄 장치, 기초재료, 이미징 장치, 문서 유형의 변형이 있는 다양한 도메인 간의 모델 일반화를 향상시킨다.
• 실제 현장 배포 조건에서 안정적으로 작동하는 강력하고 실용적인 문서 인증 시스템을 개발한다.
• 실제 재스캔 시나리오를 포함한 첫 번째 공개 가능한 데이터셋을 제공한다. 이는 다양한 문서 유형과 장치에서 인쇄-스캔 및 디스플레이-캡처 채널을 포함한다.

제안 방법

• 의심스러운 문서 이미지를 기준 샘플과 비교하기 위해 시안식 네트워크 아키텍처를 사용하여 분류 가능한 특징 임bedding을 학습한다.
• 기본적인 유클리드 거리 대신 포렌식 유사도 함수를 포함한 새로운 손실 함수를 도입하며, 이는 트리플릿 손실과 정규화된 소프트맥스 손실을 결합한다.
• 학습 중에 진정한 재스캔 샘플을 기준에 가깝게 군집시키고, 재스캔 위조물은 서로 멀리 떨어지게 하기 위해 트리플릿 선택 전략을 사용한다.
• 완전한 재학습 없이도 새로운 문서 유형에 적응하기 위해 소수의 타겟 도메인 샘플(예: 6개의 트리플릿)을 사용해 모델을 미세조정한다.
• 다양한 아키텍처에서의 일반화 및 강건성 평가를 위해 여러 백본 네트워크(ResNet50, DenseNet121, ResNeXt101)를 사용한다.
• 다양한 장치 및 기초재료 조합에서 학습하고, 예측되지 않은 조합에서 평가함으로써 도메인 일반화를 구현한다.

실험 결과

연구 질문

• RQ1 딥 메트릭 러닝 접근법이 다양한 인쇄 및 이미징 장치에서 문서 재스캔 공격을 효과적으로 탐지할 수 있는가?
• RQ2 제안된 방법이 다양한 문서 유형, 기초재료, 재스캔 채널에서 얼마나 잘 일반화되는가?
• RQ3 소수의 타겟 도메인 샘플에 대한 미세조정이 제로샷 또는 피셔샷 교차도메인 시나리오에서 성능을 얼마나 향상시키는가?
• RQ4 트리플릿 손실과 소프트맥스 손실에 포렌식 유사도를 통합함으로써 표준 손실 함수에 비해 탐지 강건성이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 ResNeXt101 백본을 사용하여 가장 도전적인 교차도메인 시나리오(다른 문서 유형과 장치 포함)에서 5% BPCER 결정 임계값에서 APCER가 5.00%이고 BPCER가 5.56%에 도달했다.
• 모든 실험 설정에서 동일 장치 및 교차 장치 평가를 포함해 최신 기술보다 일관되게 뛰어난 성능을 보였다.
• ResNet50의 경우 교차 장치, 교차 문서 유형 시나리오에서 단 6개의 트리플릿(타겟 데이터의 18.75%)으로 미세조정함으로써 BPCER가 50%에서 11.11%로 감소했다.
• 제안된 손실 함수로 학습된 모델는 일반적인 CNN, CNN+FS, CNN+TL 기반 모델에 비해 특히 교차도메인 설정에서 훨씬 우수한 일반화 성능를 보였다.
• 포렌식 유사도 함수와 트리플릿 손실의 조합은 기준에 가까이 진정한 샘플을 군집시키고 재스캔 위조물을 효과적으로 분리하는 데 기여했다.
• 본 연구는 다양한 문서 유형과 장치에서 인쇄-스캔 및 디스플레이-캡처 채널을 포함한 실질적인 재스캔 시나리오를 다루는 첫 번째 공개 가능한 데이터셋을 제시했다.