[論文レビュー] Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos

Huy H. Nguyen, Fuming Fang+2 more|arXiv (Cornell University)|Jun 17, 2019

Digital Media Forensic Detection参考文献 31被引用数 40

ひとこと要約

本論文は、操作された顔画像/動画を同時に検出し、操作された領域を分割するY字型オートエンコーダを提案し、半教師あり学習を用いて両タスクの性能を向上させ、未見の攻撃へ一般化させる。

ABSTRACT

Detecting manipulated images and videos is an important topic in digital media forensics. Most detection methods use binary classification to determine the probability of a query being manipulated. Another important topic is locating manipulated regions (i.e., performing segmentation), which are mostly created by three commonly used attacks: removal, copy-move, and splicing. We have designed a convolutional neural network that uses the multi-task learning approach to simultaneously detect manipulated images and videos and locate the manipulated regions for each query. Information gained by performing one task is shared with the other task and thereby enhance the performance of both tasks. A semi-supervised learning approach is used to improve the network's generability. The network includes an encoder and a Y-shaped decoder. Activation of the encoded features is used for the binary classification. The output of one branch of the decoder is used for segmenting the manipulated regions while that of the other branch is used for reconstructing the input, which helps improve overall performance. Experiments using the FaceForensics and FaceForensics++ databases demonstrated the network's effectiveness against facial reenactment attacks and face swapping attacks as well as its ability to deal with the mismatch condition for previously seen attacks. Moreover, fine-tuning using just a small amount of data enables the network to deal with unseen attacks.

研究の動機と目的

• imagesと videos の manipulated content に対する堅牢な検出を動機づける。
• 真偽を分類すると同時に操作された領域を局在化するシステムを開発する。
• 分類と分割の両タスク間で情報を共有して、両方の性能を向上させる。
• Semi-supervised learning を活用して未知の攻撃への一般化を強化する。

提案手法

• エンコーダとY字型デコーダを備えた畳み込みニューラルネットワークを提案し、 joint な検出と分割を実現する。
• 活性化ベースの潜在空間分割を用いて、情報を適切なデコーダ分岐へルーティングする。
• 活性化損失、分割損失、復元損失の三つの損失を、等しい重みで組み合わせて訓練する。
• 一般化を向上させるため半教師ありトレーニング regime を適用する。
• FaceForensics および FaceForensics++ データセットを用いて、一致/不一致および unseen-attack のシナリオを評価する。
• 未知の攻撃へ適応するために小さなサンプルでファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクのオートエンコーダは、顔のコンテンツに対して操作を同時に検出し、操作された領域を局在化できるか。
• RQ2 分類、分割、再構成タスク間で情報を共有することは、単一タスクのベースラインより性能を向上させるか。
• RQ3 モデルは未知の攻撃や圧縮レベルの変動にどれくらい一般化できるか。
• RQ4 新しい操作手法へモデルを適応させるために、少量のファインチューニングは有効か。

主な発見

• 深いネットワークは、浅いベースラインに比べて分類精度を著しく向上させる（例：Deeper_FT は Test 1 で 93.63% の精度）。
• 等しいタスク重みを用いた提案設定は、強い分割精度を達成し（例：Test 1 で 90.27%）、分類性能も競争力がある。
• 再構成ブランチと残差入力バリアントは、ミスマッチ条件への頑健性を高め、分割を支援する。
• 未知の攻撃はすべての手法で精度を大幅に低下させるが、分割は比較的有益な情報を提供し続ける（例：Test 4 では分割が意味を持ち続ける）。
• 少量データでのファインチューニング（例：1動画あたり10フレーム）は、分類と分割の双方を大幅に改善し、FT_Res、No_Recon、Proposed_New は顕著な向上を示す。
• 提案手法は、いくつかのベースラインと比較して未知の攻撃への適応が速く、視聴覚ドメインへの拡張もサポートする。