[論文レビュー] Image Splicing Detection, Localization and Attribution via JPEG Primary Quantization Matrix Estimation and Clustering

Yakun Niu, Benedetta Tondi+3 more|arXiv (Cornell University)|Feb 2, 2021

Digital Media Forensic Detection参考文献 38被引用数 5

ひとこと要約

本論文は、二重JPEG圧縮領域の主量子化行列（Q1）を推定し、Q1の類似性に基づいてブロックをクラスタリングすることで、画像のスプライシング改ざんの検出・局所化・寄与元特定をエンドツーエンドで行う手法を提案する。非整列圧縮および異なる品質因子下でも、異なるドナー画像由来のスプライシング領域を区別でき、ベースライン手法に比べてDJPEG 対 DJPEG の状況下で優れた性能を示し、寄与元特定機能を有する。

ABSTRACT

Detection of inconsistencies of double JPEG artefacts across different image regions is often used to detect local image manipulations, like image splicing, and to localize them. In this paper, we move one step further, proposing an end-to-end system that, in addition to detecting and localizing spliced regions, can also distinguish regions coming from different donor images. We assume that both the spliced regions and the background image have undergone a double JPEG compression, and use a local estimate of the primary quantization matrix to distinguish between spliced regions taken from different sources. To do so, we cluster the image blocks according to the estimated primary quantization matrix and refine the result by means of morphological reconstruction. The proposed method can work in a wide variety of settings including aligned and non-aligned double JPEG compression, and regardless of whether the second compression is stronger or weaker than the first one. We validated the proposed approach by means of extensive experiments showing its superior performance with respect to baseline methods working in similar conditions.

研究の動機と目的

• 複数のドナー画像由来のスプライシング領域を区別できない既存手法のギャップを埋める。
• 両方のドナー画像とターゲット画像が二重圧縮されている現実的ないくつかのDJPEG 対 DJPEG 圧縮状況下で、画像スプライシングの検出と局所化を可能にする。
• スプライシング領域の最初の圧縮履歴に基づき、異なる出所を特定することで、新たなフォレンジックタスク「ドナー画像の寄与元特定」を導入する。
• 異なる圧縮品質因子および整列条件（整列済みまたは非整列）の下でも耐性を確保する。
• Q1推定、クラスタ数予測、スペクトルクラスタリング、および形状的修正を統合したエンドツーエンドシステムを構築し、正確な改ざん検出と寄与元特定を実現する。

提案手法

• [6]で提案されたCNNベースの推定器を用いて、各8×8ブロックの主量子化行列（Q1）を推定し、小さな画像パッチに対しても正確なQ1回復を可能にする。
• 各ブロックを推定されたQ1値の特徴ベクトルとして表現し、類似するQ1行列を有するブロックをスペクトルクラスタリング（SC）でグループ化する。
• 推定されたQ1ベクトルからクラスタ数（すなわちドナー画像数）を予測する専用のCNNを訓練し、改ざんの複雑さを自動で検出可能にする。
• 最大のクラスタを背景とし、それ以外のすべてのクラスタを異なるドナー画像に対応するスプライシング領域とみなす。
• 形状的再構築を用いて改ざんマップを精錬し、検出領域の空間的整合性と滑らかさを向上させる。
• 整列済みおよび非整列の二重圧縮をサポートし、第一回目より強いまたは弱い第二回目の圧縮に対しても対応可能である。

Figure 1: Image tampering setup considered in this paper.

実験結果

リサーチクエスチョン

• RQ1 両方の背景領域とスプライシング領域が二重JPEG圧縮を経験している状況下でも、画像スプライシングを検出できるか？
• RQ2 スプライシング領域を正確に局所化し、それらの主量子化行列（Q1）の差異に基づいて異なるドナー画像に帰属づけることができるか？
• RQ3 異なる圧縮品質因子（QF1 > QF2 または QF1 < QF2）および整列条件下での性能はどの程度か？
• RQ4 視覚的アーチファクトや異常検出に依存せずに、複数の異なる出所由来のスプライシング領域を区別できるか？
• RQ5 Q1推定とスペクトルクラスタリング、および形状的修正の統合が、検出および寄与元特定の正確性をどの程度向上させるか？

主な発見

• 本手法は、DJPEG 対 DJPEG 条件下で、スプライシング領域の検出および局所化においてベースライン手法に比べて優れた性能を達成した。
• 推定された主量子化行列（Q1）に基づくクラスタリングにより、スプライシング領域が明確に異なるドナー画像に帰属づけられ、新たなフォレンジック能力が実現された。
• 整列済みおよび非整列の二重圧縮の両方に対して、第二回目の圧縮が第一回目よりも強い場合を含めて、依然として高い耐性を示した。
• CNNベースのQ1推定器により、小さな画像ブロックに対しても正確な推定が可能となり、信頼性の高いクラスタリングの基盤が構築された。
• 形状的再構築により、改ざんマップの空間的整合性と滑らかさが顕著に向上し、誤検出が低減された。
• 目に見える境界アーチファクトのない状況下で、MantraNetなどの異常検出ベースの手法に比べて本手法が優れた性能を示し、専用のQ1ベース解析の利点を裏付けた。

Figure 2: Architecture of the proposed method for splicing detection, localization and attribution of DJPEG images based on $Q_{1}$ matrix inconsistencies.