[論文レビュー] ForensicTransfer: Weakly-supervised Domain Adaptation for Forgery Detection

Davide Cozzolino, Justus Thies+4 more|arXiv (Cornell University)|Dec 6, 2018

Digital Media Forensic Detection参考文献 57被引用数 220

ひとこと要約

ForensicTransferはリアル/フェイク表現を分離する自己符号化器ベースの埋め込みを導入し、未知の偽造手法へのゼロショットおよび少数ショット転送を強力に実現、限定的なターゲットドメインデータで最先端の検出器を上回る。

ABSTRACT

Distinguishing manipulated from real images is becoming increasingly difficult as new sophisticated image forgery approaches come out by the day. Naive classification approaches based on Convolutional Neural Networks (CNNs) show excellent performance in detecting image manipulations when they are trained on a specific forgery method. However, on examples from unseen manipulation approaches, their performance drops significantly. To address this limitation in transferability, we introduce Forensic-Transfer (FT). We devise a learning-based forensic detector which adapts well to new domains, i.e., novel manipulation methods and can handle scenarios where only a handful of fake examples are available during training. To this end, we learn a forensic embedding based on a novel autoencoder-based architecture that can be used to distinguish between real and fake imagery. The learned embedding acts as a form of anomaly detector; namely, an image manipulated from an unseen method will be detected as fake provided it maps sufficiently far away from the cluster of real images. Comparing to prior works, FT shows significant improvements in transferability, which we demonstrate in a series of experiments on cutting-edge benchmarks. For instance, on unseen examples, we achieve up to 85% in terms of accuracy, and with only a handful of seen examples, our performance already reaches around 95%.

研究の動機と目的

• 新しい画像偽造手法の急速な出現に対応するため、偽造検出器の転送性を向上させる。
• 潜在空間で実画像と偽画像の表現を分離する、弱教師ありの自己符号化器ベース検出器を開発する。
• 最小限のラベル付きターゲットデータで、未見の操作に対するゼロショットおよび少数ショット適応を可能にする。
• 提案手法が多様なデータセットにおいて最先端の転送性能を達成することを示す。

提案手法

• 実画像と偽造画像のための法医学的埋め込みを学習するエンコーダ–デコーダ（自己符号化器）アーキテクチャを提案する。
• 潜在空間を2つの離散的な部分 h0（real）と h1（fake）に分割し、各クラスに対して対応する部分のみを活性化するよう訓練する。
• 潜在空間の情報を保持する再構成損失 L_REC を用い、潜在空間におけるクラス固有の活性化（a0 または a1）を強制する活性化損失 L_ACT を用いる。
• クラス活性化 a_c(x) を対応する潜在部のL1ノルムとして計算し、a0(x) と a1(x) を比較して分類する。
• 偽造の手がかりを強調するため、高域パス残差（三次微分）で入力を前処理する。
• ソースドメインで訓練されたモデルを小さなターゲットドメイン集合で微調整して、迅速な適応（少数ショット/ゼロショット）を達成する。
• Adam（学習率 lr=0.001）、バッチサイズ64、検証損失をモニタリングし、改善が見られない場合は30エポックで停止する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間を分離したオートエンコーダは、未見の操作手法への偽造検出器の転送性を改善できるか？
• RQ2 新しい操作ドメインで高精度を達成するには、ラベル付きターゲットドメインサンプルをどれだけ少なくすればよいか？
• RQ3 クラスごとの潜在活性化を制約すると、クラス内分散が減少し、クロスドメインの一般化が改善されるか？
• RQ4 残差ベースの前処理が転送性能に与える影響は何か？
• RQ5 ゼロショットおよび少数ショットの状況で、ForensicTransferは既存のCNNベース検出器とどう比較されるか？

主な発見

方法	出典(S) 精度	ターゲット(T) 精度
Bayar16/Constrained CNN	99.92	50.42
Cozzolino12/Residual CNN	99.92	52.43
Rahmouni17/CG-generated	100.0	49.87
MesoInc.3/Deep forgery detector	97.47	44.19
XceptionNet	100.0	58.79
FT (ForensicTransfer)	100.0	85.00

• ForensicTransferは未見の操作に対して高精度を達成し、ゼロショット転送で最大85%、ターゲットドメインの例を少数の例で約95%の精度。
• 残差前処理の除去、再構成損失の除去、またはクロスエントロピー損失の使用が転送性能を劣化させることをアブレーション研究が示し、設計選択を裏付ける。
• 提案された活性化ベースの損失はクラス内分散を低減し、新しい操作ドメインへの一般化を改善する。
• ゼロショットおよび少数ショット転送は、複数のソース-ターゲットドメインの組み合わせでベースラインCNN検出器を上回る。
• マルチソース訓練（多対一転送）はターゲットドメイン検出をさらに改善し、特に低ショット領域で単一ソース設定より利得が大きい。