[論文レビュー] Noiseprint: a CNN-based camera model fingerprint

Davide Cozzolino, Luisa Verdoliva|arXiv (Cornell University)|Aug 25, 2018

Digital Media Forensic Detection被引用数 12

ひとこと要約

この論文では、同じカメラまたは異なるカメラの画像パッチペアを用いて訓練されたシアンペアネットワークを用いて、シーンの内容を抑制し、カメラ固有のアーティファクトを強調することで、カメラモデルのフィンガープリントを抽出するCNNベースの手法Noiseprintを提案する。この手法は、画像改ざん局所化において最先端の性能を達成し、改ざん検出で82%の正確性を示し、スプライシング、シームカービング、GANベースのインpaintingなどの操作が、Noiseprintのヒートマップで明確に可視化される。

ABSTRACT

Forensic analyses of digital images rely heavily on the traces of in-camera and out-camera processes left on the acquired images. Such traces represent a sort of camera fingerprint. If one is able to recover them, by suppressing the high-level scene content and other disturbances, a number of forensic tasks can be easily accomplished. A notable example is the PRNU pattern, which can be regarded as a device fingerprint, and has received great attention in multimedia forensics. In this paper we propose a method to extract a camera model fingerprint, called noiseprint, where the scene content is largely suppressed and model-related artifacts are enhanced. This is obtained by means of a Siamese network, which is trained with pairs of image patches coming from the same (label +1) or different (label -1) cameras. Although noiseprints can be used for a large variety of forensic tasks, here we focus on image forgery localization. Experiments on several datasets widespread in the forensic community show noiseprint-based methods to provide state-of-the-art performance.

研究の動機と目的

• シーンの内容を抑制し、カメラ内処理チェーンに起因するアーティファクトを強調することで、デジタル画像から耐障害性の高いカメラモデル固有のフィンガープリントを抽出すること。
• シーンの内容による信号対雑音比の低下というPRNUベースの手法の限界を、データ駆動型のディープラーニングアプローチにより克服すること。
• ラベル付き学習データやカメラモデルの事前知識が一切不要な完全無教師な手法を構築し、未学習のデバイスへの展開を可能にすること。
• 改ざんに起因する一貫性のない部分をNoiseprint表現において顕著に可視化することで、信頼性の高い画像改ざん局所化を実現すること。
• スプライシング、シームカービング、GANベースのインpaintingを含む多様な改ざんタイプに対して、本手法の有効性を実証すること。

提案手法

• 同じカメラモデルからのパッチペア（ポジティブペア）と異なるモデルからのパッチペア（ネガティブペア）を用いて、シアンペア畳み込みニューラルネットワークを訓練する。
• ネットワークは、同じカメラモデル由来のパッチを識別する能力を学習することで、シーンの内容を暗黙的に抑制し、モデル固有のノイズパターンを強調する。
• 訓練後、ネットワークは固定され、任意の入力画像に対してNoiseprint（カメラモデルフィンガープリント）を生成する特徴抽出器として使用される。
• Noiseprintは、ネットワークの内部特徴マップから得られ、カメラのデジタル処理チェーンに関連するアーティファクトを強調する。
• 本手法は完全に無教師に動作し、初期訓練以降は外部の監視信号やラベル付きデータを一切必要としない。
• 改ざん局所化は、Noiseprintヒートマップにおける空間的一致性の欠如を分析することで実施され、改ざん境界は明確な異常として現れる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのアプローチは、シーンの内容を抑制しながらデバイス固有のアーティファクトを強調するカメラモデルフィンガープリントを効果的に抽出できるか？
• RQ2 このようなフィンガープリントは、特にテクスチャが豊富または彩度が高いような困難な条件下でも、従来のPRNUを上回って画像改ざんを検出できるか？
• RQ3 シームカービングやGANベースのインpaintingのような微細な改ざんを、どの程度Noiseprintが可視化できるか？
• RQ4 学習データに含まれない未確認のカメラモデルに対しても、本手法はどの程度一般化できるか？
• RQ5 個々のデバイスを特定できるかどうかにかかわらず、カメラモデルの識別はNoiseprintで可能か？

主な発見

• Noiseprintはベンチマークデータセット上で82%の正確性を達成し、PRNUベースの手法の77%を上回る。
• スプライシング、シームカービング、GANベースのインpaintingに対して、Noiseprintヒートマップが明確に改ざんの痕跡を可視化し、人間観察者による視覚的検出を可能にする。
• カメラモデル識別において、Noiseprintは62%の正確性を達成しており、デバイスレベルの独自性に依存せず、モデル固有の特徴を捉えていることが示された。
• PRNUに比べて、特にテクスチャが豊富または彩度が高い領域で改ざんを検出する能力が優れており、内容漏れによる性能低下が顕著に改善された。
• 非標準のセンサーや処理チェーンを備えた衛星画像に対しても、Noiseprintは高い空間的正確性でスプライシング改ざんを明確に強調した。
• GANベースのインpaintingのような高度な改ざんに対しても、本手法は多様な改ざんタイプにわたり有効であり、修復領域に明確なテクスチャ的変化がNoiseprintヒートマップに現れる。