[논문 리뷰] Source Printer Identification from Document Images Acquired using Smartphone

Sharad Joshi, Suraj Saxena외 1명|arXiv (Cornell University)|2020. 03. 27.

Digital Media Forensic Detection참고 문헌 37인용 수 4

한 줄 요약

이 논문은 스마트폰으로 촬영한 문서 이미지에서 원본 문자 이미지와 프린터 고유의 노이즈 잔여항을 융합하는 새로운 이중 채널 CNN 모델을 제안한다. 이는 스마트폰으로 촬영한 이미지에서 원본 프린터 식별을 가능하게 한다. 다양한 촬영 조건 하에서 문서 수준 분류 정확도가 98.42%에 도달하고, 모든 문자 유형에서 문자 수준 정확도가 90.33%에 이르며, 특정 문자에 의존하지 않고도 뛰어난 성능을 보이며, 이 분야에서 최초로 공개된 스마트폰으로 촬영한 데이터셋을 도입한다.

ABSTRACT

Vast volumes of printed documents continue to be used for various important as well as trivial applications. Such applications often rely on the information provided in the form of printed text documents whose integrity verification poses a challenge due to time constraints and lack of resources. Source printer identification provides essential information about the origin and integrity of a printed document in a fast and cost-effective manner. Even when fraudulent documents are identified, information about their origin can help stop future frauds. If a smartphone camera replaces scanner for the document acquisition process, document forensics would be more economical, user-friendly, and even faster in many applications where remote and distributed analysis is beneficial. Building on existing methods, we propose to learn a single CNN model from the fusion of letter images and their printer-specific noise residuals. In the absence of any publicly available dataset, we created a new dataset consisting of 2250 document images of text documents printed by eighteen printers and acquired by a smartphone camera at five acquisition settings. The proposed method achieves 98.42% document classification accuracy using images of letter 'e' under a 5x2 cross-validation approach. Further, when tested using about half a million letters of all types, it achieves 90.33% and 98.01% letter and document classification accuracies, respectively, thus highlighting the ability to learn a discriminative model without dependence on a single letter type. Also, classification accuracies are encouraging under various acquisition settings, including low illumination and change in angle between the document and camera planes.

연구 동기 및 목표

• 스캐너 대신 스마트폰으로 촬영한 문서 이미지를 사용하여 신속하고 비용 효율적이며 사용자 友好的한 원본 프린터 식별을 가능하게 하기 위해.
• 기존 방법들이 스캐너에 의존하여 실제 스마트폰으로 촬영한 이미지에는 적용되지 않는 한계를 극복하기 위해.
• 원본 문자 이미지와 그들의 노이즈 잔여항으로부터 프린터 고유의 서명을 학습할 수 있는 단일 통합 CNN 모델을 개발하기 위해.
• 18대의 프린터에서 5개의 촬영 설정 하에 촬영한 총 2250장의 스마트폰 촬영 문서 이미지를 포함한 새로운 공개 데이터셋을 구축하고 배포하기 위해.
• 낮은 조도, 각도 변화, 투시변형 등의 어려운 실제 환경 조건 하에서도 모델의 강인성을 평가하기 위해.

제안 방법

• 원본 문자 이미지와 그에 대한 추정된 프린터 고유의 노이즈 잔여항을 조합하여 이중 채널 입력을 구성함으로써, 단일 CNN 내에서 공동 특징 학습을 가능하게 한다.
• 노이즈 잔여항은 특정 프린터 출력물의 평균 이미지를 빼는 방식을 기반으로, 기준 스캐너 이미지에서 추출된다.
• 딥 컨volution 신경망(CNN)은 이중 채널 입력을 기반으로 엔드 투 엔드로 훈련되어 각 문자나 문서의 원본 프린터를 분류한다.
• 아키텍처는 평균 풀링과 하이퍼볼릭 tangent(Tanh) 활성화 함수를 사용하며, 이는 추론 실험에서 가장 높은 성능(98.81% 평균 정확도)을 보였다.
• 각도 변화와 저조도 조건을 포함한 다양한 촬영 설정에서 5×2 프로토콜을 사용한 교차 검증이 수행된다.
• 모델은 단일 문자 '(e)' 뿐 아니라, 약 50만 개의 다양한 문자로 구성된 대규모 테스트 세트를 통해 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 스캐너 기반 촬영에 의존하지 않고도, 스마트폰으로 촬영한 문서 이미지에서 단일 CNN 모델이 프린터 고유의 서명을 효과적으로 학습할 수 있는가?
• RQ2 원본 문자 이미지와 노이즈 잔여항의 융합이, 각각의 모odalities를 별도로 사용할 때보다 분류 정확도를 어떻게 향상시키는가?
• RQ3 카메라 각도, 조도, 투시변형 등의 실제 촬영 조건 변화 상황에서 제안된 방법의 성능은 어떠한가?
• RQ4 특정 문자나 폰트가 모두 존재하지 않을 경우에도 모델의 일반화 능력은 얼마나 우수한가?
• RQ5 스마트폰 이미지에서 추정한 노이즈 잔여항이 스캐너 기반 데이터에 비해 모델 성능에 얼마나 영향을 미치는가?

주요 결과

• 제안된 이중 채널 CNN는 스마트폰으로 촬영한 이미지에서 5개의 촬영 설정 하에 5×2 교차 검증 프로토콜을 적용하여 98.42%의 문서 수준 분류 정확도를 달성했다.
• 약 50만 개의 다양한 문자 이미지로 테스트한 결과, 문자 수준 분류 정확도가 90.33%에 이르며, 모든 문자 유형에 걸쳐 뛰어난 일반화 능력을 입증했다.
• 모델는 98.01%의 문서 수준 분류 정확도를 기록하여, 'e'와 같은 특정 문자 유형의 가용성에 대한 의존도를 크게 감소시켰다.
• 다양한 촬영 조건 하에서도 일관되게 높은 성능(97.69%에서 98.81%)을 유지했으며, 유일하게 투시변형이 심해진 다운타이트 시나리오에서는 성능 저하가 발생했다.
• Tanh 활성화 함수와 평균 풀링 조합이 가장 높은 성능(98.81% 평균 정확도)을 보였으며, ReLU, PReLU, ELU 등의 변종보다 뛰어난 성능을 보였다.
• DenseNet과 같은 최신 기술을 초월하는 성능을 보였으며, 스캐너 기반 데이터에서 원본 이미지와 잔여항을 융합했을 때 기준 모델 대비 일관된 향상을 보였다.