[論文レビュー] On the Detection of Digital Face Manipulation

Hao Dang, Feng Liu+3 more|arXiv (Cornell University)|Oct 3, 2019

Digital Media Forensic Detection参考文献 61被引用数 41

ひとこと要約

論文は maniplated face images の検出を改善し manipulated regions を局在化するための注意ベースの層を導入し、新しい Diverse Fake Face Dataset (DFFD) を用いて支持される。

ABSTRACT

Detecting manipulated facial images and videos is an increasingly important topic in digital media forensics. As advanced face synthesis and manipulation methods are made available, new types of fake face representations are being created which have raised significant concerns for their use in social media. Hence, it is crucial to detect manipulated face images and localize manipulated regions. Instead of simply using multi-task learning to simultaneously detect manipulated images and predict the manipulated mask (regions), we propose to utilize an attention mechanism to process and improve the feature maps for the classification task. The learned attention maps highlight the informative regions to further improve the binary classification (genuine face v. fake face), and also visualize the manipulated regions. To enable our study of manipulated face detection and localization, we collect a large-scale database that contains numerous types of facial forgeries. With this dataset, we perform a thorough analysis of data-driven fake face detection. We show that the use of an attention mechanism improves facial forgery detection and manipulated region localization.

研究の動機と目的

• 多様な操作タイプにわたるデジタル顔操作を検出・局在化するための高まるニーズに対処する。
• genuine vs manipulated faces の二値検出を改善し、情報量の多い領域を強調する注意ベースのメカニズムを開発する。
• 実世界での頑健なデータ駆動解析を可能にする大規模で多様なデータセット（DFFD）を実現する。
• 検出精度と局在品質に対する注意機構の影響を、見られた操作者法だけでなく未見の操作者法にも評価する。

提案手法

• CNN分類器に注意ベースの層を挿入し、 manipulated regions を強調する注意マップ（M_att）を生成する。
• Manipulation Appearance Model（MAM）と直接回帰の2つの注意マップ生成アプローチを実装し、 PCAベースの基底またはエンドツーエンドの畳み込みネットを使用する。
• L = L_classifier + lambda * L_map の組合せ損失で学習する。L_map は教師あり、弱教師あり、または教師なしのいずれか。
• ピクセルレベルの真実マスクによる教師ありL_map、部分的または不確実なマスクによる弱教師あり、画像ラベルのみが利用可能な場合の教師なし学習を使用する。
• 検出は EER, AUC, 低FDRでの TDR を用い、局在は PBCA, IoU, コサイン類似度、および新規指標 IINC を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 注意機構は多様な操作タイプ全体で検出精度と局在化の両方を改善できるか。
• RQ2 注意マップの教師あり、弱教師あり、教師なしトレーニングが検出と局在性能にどう影響するか。
• RQ3 提案する注意アプローチは未見の操作タイプや外部データセットに一般化するか。
• RQ4 異なるバックボーンネットワーク（例：XceptionNet, VGG16）が注意層の有効性に与える影響は何か。

主な発見

Method	Training data	UADFV	Celeb-DF
Two-stream	Private data	85.1	53.8
Meso4	Private data	84.3	54.8
MesoInception4		82.1	53.6
HeadPose	UADFV	89.0	54.6
FWA	UADFV	97.4	56.9
VA-MLP	Private data	70.2	55.0
VA-LogReg	Private data	54.0	55.1
Multi-task	FF	65.8	54.3
Xception-FF++	FF++	80.4	48.2
Xception	UADFV	96.8	52.2
Xception	UADFV, DFFD	97.5	67.6
Xception+Reg.	DFFD	84.2	64.4
Xception+Reg.	UADFV	98.4	57.1
Xception+Reg.	UADFV, DFFD	98.4	71.2

• 注意強化モデルはベースラインより優れており、特に低偽検出率での性能が向上する（例：TDR 0.01%）。
• 注意マップの直接回帰は低FDR検出で最良を示し、MAMは弱教師ありまたは教師なし設定で利点を持つ。
• 注意機構は身元・表情交換・属性操作などの偽タイプに対して検出を一貫して改善する。
• DFFD で学習した場合 Celeb-DF で最先端の結果を達成し、UADFV でも競争力のある結果を示す。
• 著者らは局在機能を評価する頑健な指標 IINC を導入し、 manipulated-face maps の IoU および Cosine Similarity の限界を解決する。