[論文レビュー] Two-Stream Neural Networks for Tampered Face Detection

Peng Zhou, Xintong Han+2 more|arXiv (Cornell University)|Mar 29, 2018

Digital Media Forensic Detection参考文献 15被引用数 57

ひとこと要約

本論文は、改ざんされた顔検出のための二流ネットワークを提案します。GoogLeNetベースの顔分類ストリームと、ステガノ分析特徴を活用したパッチベースのトリプレットストリームを組み合わせ、SwapMe/FaceSwapデータセットという新しいデータセットで評価し、最先端の結果を達成します。

ABSTRACT

We propose a two-stream network for face tampering detection. We train GoogLeNet to detect tampering artifacts in a face classification stream, and train a patch based triplet network to leverage features capturing local noise residuals and camera characteristics as a second stream. In addition, we use two different online face swapping applications to create a new dataset that consists of 2010 tampered images, each of which contains a tampered face. We evaluate the proposed two-stream network on our newly collected dataset. Experimental results demonstrate the effectiveness of our method.

研究の動機と目的

• 改ざんされた顔の堅牢な検出を、単一の証拠法を超えて動機づける。
• 高レベルの視覚的改ざんアーティファクトと低レベルのローカルノイズ残差特徴を組み合わせる。
• 難易度の高い顔改ざんデータセット上で二流アーキテクチャを開発・評価する。

提案手法

• 二流アーキテクチャの構成：（1）改ざんアーティファクトを検出するよう訓練されたGoogLeNetベースの顔分類ストリーム、（2）トリプレット損失で洗練された steganalysis特徴を用いるパッチベースのトリプレットストリーム。
• 128x128パッチ上で15000トリプレットを用いたトリプレットネットワークの訓練；512次元出力の2層完全連結埋め込み器とL2正規化を使用；トリプレット損失は d(a,f(r(xa))) を d(a,f(r(xp))) 近く、マージン m を課す。
• 学習済みトリプレット埋め込みに基づくPer-image SVM分類器を用いて改ざんパッチを局所化する；最終的な顔改ざんスコアは両ストリームをスコアフュージョンで結合。
• 学習データは二つの顔スワッピングアプリ（SwapMeとFaceSwap）を用いて作成され、サブセットごとに訓練用2010枚・検証用1400枚の改ざん画像と真正画像を生成；評価はROC/AUCを使用。
• トレーニング・テストプロトコルには異なる改ざん技法に対する頑健性を評価するためのクロスアプリ評価（あるアプリで訓練し別のアプリでテスト）を含む。

実験結果

リサーチクエスチョン

• RQ1 高レベルの改ざんアーティファクトと低レベルのステガノ分析特徴を同時に活用することで、二流ネットワークは改ざん顔検出を改善できるか。
• RQ2 顔分類ストリームとパッチベースのトリプレットストリームをフュージョンすることは、いずれか一方のストリーム単独よりも検出性能を向上させるか。
• RQ3 提案手法は、異なる顔スワッピングツール（SwapMe vs. FaceSwap）間のクロスデータセット評価でどれだけ一般化するか。

主な発見

• 二流フュージョンは、どちらのストリーム単独よりもAUCが高くなる（それぞれのストリームで0.854および0.875、合計0.927。）。
• ステガノ分析特徴とSVMは0.794のAUC、顔分類ストリームは0.854のAUC。
• 二流ネットワークはSwapMeのテストセットで全ベースラインを上回り、AUCは0.927。
• Hard JPEGベースの局所化法はダブルJPEG圧縮とリサイズ効果のためSwapMeデータで性能が低下するが、提案手法は頑健。
• CAMの可視化は、改ざんが発生した場合に顔分類器が境界の縫合、唇近くの鋭いエッジ、眼鏡周辺のぼかしといったアーティファクトを学習していることを示し、学習した手掛かりを検証する。
• 本手法は補完的な手掛かりの恩恵を受ける：視覚的改ざんアーティファクトと局所ノイズ残差の双方が改ざん顔検出に有用である。