[論文レビュー] Source Printer Identification from Document Images Acquired using Smartphone

Sharad Joshi, Suraj Saxena+1 more|arXiv (Cornell University)|Mar 27, 2020

Digital Media Forensic Detection参考文献 37被引用数 4

ひとこと要約

本稿では、スマートフォンで撮影されたドキュメント画像からソースプリンタを特定可能にするために、ネイティブな文字画像とプリンタ固有のノイズ残留物を融合する新規の2チャネルCNNモデルを提案する。本手法は、多様な取得条件下で98.42%のドキュメントレベル分類精度を達成し、すべての文字タイプで90.33%の文字レベル精度を示し、特定の文字に依存せずに高い性能を発揮する。また、本タスク用に公開可能な最初のスマートフォンで取得されたデータセットを提供する。

ABSTRACT

Vast volumes of printed documents continue to be used for various important as well as trivial applications. Such applications often rely on the information provided in the form of printed text documents whose integrity verification poses a challenge due to time constraints and lack of resources. Source printer identification provides essential information about the origin and integrity of a printed document in a fast and cost-effective manner. Even when fraudulent documents are identified, information about their origin can help stop future frauds. If a smartphone camera replaces scanner for the document acquisition process, document forensics would be more economical, user-friendly, and even faster in many applications where remote and distributed analysis is beneficial. Building on existing methods, we propose to learn a single CNN model from the fusion of letter images and their printer-specific noise residuals. In the absence of any publicly available dataset, we created a new dataset consisting of 2250 document images of text documents printed by eighteen printers and acquired by a smartphone camera at five acquisition settings. The proposed method achieves 98.42% document classification accuracy using images of letter 'e' under a 5x2 cross-validation approach. Further, when tested using about half a million letters of all types, it achieves 90.33% and 98.01% letter and document classification accuracies, respectively, thus highlighting the ability to learn a discriminative model without dependence on a single letter type. Also, classification accuracies are encouraging under various acquisition settings, including low illumination and change in angle between the document and camera planes.

研究の動機と目的

• スキャナーよりもスマートフォンで撮影されたドキュメント画像を用いた、迅速で低コストかつ使いやすいソースプリンタ同定を可能にすること。
• 従来の手法がスキャナーに依存しており、実世界のスマートフォンで取得された画像には適用できないという制限を克服すること。
• ネイティブな文字画像とそのノイズ残留物の両方からプリンタ固有の特徴を学習できる、単一の統合型CNNモデルの開発。
• 18台のプリンタから得られた5つの取得設定下で、合計2250枚のスマートフォンで撮影されたドキュメント画像から構成される、新しい公開可能なデータセットの作成とリリース。
• 低照度、角度の変化、透視的歪みなどの困難な実世界の条件下でのモデルの頑健性の評価。

提案手法

• 本手法は、元の文字画像とその推定されたプリンタ固有のノイズ残留物を組み合わせることで2チャネル入力を構築し、1つのCNN内で統合的な特徴抽出を可能にする。
• ノイズ残留物は、特定プリンタの出力画像の平均画像を差し引く手法を用いて、基準スキャナー画像から抽出される。
• 深層畳み込みニューラルネットワーク（CNN）を、2チャネル入力に対してエンドツーエンドで学習させ、各文字またはドキュメントのソースプリンタを分類する。
• アーキテクチャは平均プーリングと双曲正接（Tanh）活性化関数を採用しており、アンバレーションスタディーで最高の性能（平均98.81%の精度）を示した。
• 異なる取得設定、特に角度の変化や低照度状態を含む、5×2プロトコルを用いた交差検証が実施された。
• モデルは「e」といった1つの文字での評価に加え、約50万枚の多様な文字画像を含む大規模なテストセットを用いて一般化性能の評価も行われた。

実験結果

リサーチクエスチョン

• RQ1 スキャナーによる取得に依存せずに、スマートフォンで撮影されたドキュメント画像から、1つのCNNモデルがプリンタ固有の特徴を効果的に学習できるか。
• RQ2 ネイティブな文字画像とノイズ残留物の融合は、単独で使用する場合と比較して、分類精度をどのように向上させるか。
• RQ3 カメラの角度、照明、透視的歪みなどの実世界の取得変動下での、本手法の性能はいかがなものか。
• RQ4 特定の文字タイプが利用可能でない場合を含め、さまざまな文字やフォントに対して、モデルの一般化性能はどの程度高いか。
• RQ5 スマートフォン画像からのノイズ残留物推定は、スキャナーベースのデータと比較して、モデルの性能にどの程度悪影響を及ぼすか。

主な発見

• 提案された2チャネルCNNは、5つの取得設定下でスマートフォンで取得された画像を用いた5×2交差検証プロトコルにおいて、98.42%のドキュメントレベル分類精度を達成した。
• 約50万枚の多様な文字画像を用いたテストで、90.33%の文字レベル分類精度を達成し、すべての文字タイプにわたる強力な一般化性能を示した。
• 本手法は98.01%のドキュメントレベル分類精度を達成し、「e」のような特定の文字タイプの可用性に依存するのを顕著に低減した。
• 取得条件の変化にかかわらず、97.69%から98.81%の高い一貫性のある性能を示したが、下向きの傾き（down-tilt）状況では透視的歪みが増加し、性能に悪影響を及えた。
• Tanh活性化関数と平均プーリングの組み合わせが最良の性能（平均98.81%の精度）を示し、ReLU、PReLU、ELUの変種を上回った。
• SOTA手法（DenseNetなど）を上回る性能を示し、スキャナーベースのデータにおいてネイティブ画像と残留物画像を統合することで、ベースライン手法よりも一貫した向上が得られた。