[論文レビュー] Universal Image Manipulation Detection using Deep Siamese Convolutional Neural Network

Aniruddha Mazumdar, Jaya Singh+2 more|arXiv (Cornell University)|Aug 20, 2018

Digital Media Forensic Detection参考文献 17被引用数 18

ひとこと要約

この論文では、同じ処理が施されたか、異なる処理が施されたかを比較することで、さまざまな画像操作を検出・区別する深層シアンプス畳み込みニューラルネットワーク（Siamese CNN）を提案している。従来のユニバーサルフォレンジックス手法とは異なり、訓練時に既知の操作タイプを必要としないため、訓練データに含まれない操作に対しても一般化可能であり、AWGNでは96.61%、ガンマ補正では95.24%の精度を達成し、優れたゼロショット一般化能力を示している。

ABSTRACT

Detection of different types of image editing operations carried out on an image is an important problem in image forensics. It gives the information about the processing history of an image, and also can expose forgeries present in an image. There have been few methods proposed to detect different types of image editing operations in a single framework. However, all the operations have to be known a priori in the training phase. But, in real-forensics scenarios it may not be possible to know about the editing operations carried out on an image. To solve this problem, we propose a novel deep learning-based method which can differentiate between different types of image editing operations. The proposed method classifies image patches in a pair-wise fashion as either similarly or differently processed using a deep siamese neural network. Once the network learns feature that can discriminate between different image editing operations, it can differentiate between different image editing operations not present in the training stage. The experimental results show the efficacy of the proposed method in detecting/discriminating different image editing operations.

研究の動機と目的

• 訓練時にすべての操作タイプが事前に分かっている必要があるという、従来のユニバーサル画像フォレンジックス手法の制限を解消すること。
• 訓練時に見られなかった操作を検出・区別できる手法を開発すること。
• 固定クラス分類ではなく、処理の類似性／相違性を特徴として学習することで、画像フォレンジックスにおける一般化性能を向上させること。
• 複数の操作が逐次的に適用された複雑な改ざん（マルチオペレーションフォージェリー）の検出を可能にすること。

提案手法

• 本手法は、2つの画像パッチを入力とし、それらが同じように処理されたか、異なるように処理されたかを示す類似度スコアを出力するシアンプス畳み込みニューラルネットワークアーキテクチャを採用している。
• ネットワークは、同じ操作タイプからの同一パaires（IP）と、異なる操作タイプからの異なるパaires（DP）のペア画像パッチで訓練されている。
• シアンプスネットワークは、ガウスノイズ、メディアンフィルタリング、リサンプリング、コントラスト強調などのさまざまな画像編集操作によって生じる微細な統計的差を捉える特徴を学習する。
• 類似するパッチの埋め込みを特徴空間内で近づけ、類似しないパッチの埋め込みを遠ざけるように、コントラスト損失関数を用いて訓練されている。
• 訓練後、新しい画像パッチを、同じように処理されたものか、異なるように処理されたものか分類可能であり、訓練データに含まれない操作タイプに対しても対応可能である。
• 本手法は、シアンプスネットワークが比較に特化した判別的特徴を学習できるという本質的特徴を活かし、訓練データにない新しい操作のゼロショット検出を可能としている。

実験結果

リサーチクエスチョン

• RQ1 すべての可能な操作が事前に分かっていない状態で、深層学習モデルがさまざまな画像操作を検出・区別できるか。
• RQ2 シアンプスCNNは、学習セットに含まれない画像操作をどの程度一般化して検出できるか。
• RQ3 特徴類似度に基づくペアワイズ比較アプローチは、従来の分類ベースのユニバーサルフォレンジックス手法を上回る性能を示すか。
• RQ4 未知または未学習の編集ステップを含む複雑なマルチオペレーションフォージェリーを、どの程度検出できるか。
• RQ5 訓練時に使用されていない微細な操作（例：AWGN、ガンマ補正）を検出する際、モデルは高い精度を維持できるか。

主な発見

• 提案されたシアンプスCNNは、オリジナル画像パッチの分類で99.35%、ガウスノイズで99.51%、メディアンフィルタリングで99.64%、リサンプリングで99.26%の精度を達成し、BayarとStammの手法よりも4つのクラスのうち3つで優れた性能を示した。
• 未学習の操作に対しても効果的に一般化され、AWGN（σ=2）で96.61%、ガンマ補正（γ=1.5）で95.24%の精度を達成し、優れたゼロショット検出能力を示した。
• メディアンフィルタリング（99.64% vs. 98.85%）とリサンプリング（99.26% vs. 99.13%）のタスクにおいて、BayarとStammの最先端のCNNベース手法を顕著に上回った。
• 固定クラスラベルのないパッチ比較が可能なシアンプスネットワークの特性により、訓練時に見られなかった新しい操作を検出できるという、従来のユニバーサル手法に比べた主要な利点が得られた。
• 処理の類似性を区別する学習をすることで、固定された操作タイプの分類に依存する手法よりも、実世界のフォレンジックスシナリオにおける一般化性能が向上することが確認された。
• 未学習の操作に対するモデルの性能から、学習された特徴が画像処理の普遍的痕跡を捉えていることが示され、多様で進化し続ける編集技術に対しても頑健であることが分かった。