[論文レビュー] Using Fully Convolutional Neural Networks to detect manipulated images in videos.

Michail Tarasiou, Stefanos Zafeiriou|arXiv (Cornell University)|Nov 29, 2019

Digital Media Forensic Detection参考文献 22被引用数 2

ひとこと要約

本稿では、操作された領域に共通する局所的特徴を特定することで、動画内の操作された顔画像を検出する軽量な完全畳み込みニューラルネットワークを提案する。構造的バイアスを組み込んだマルチタスク学習スキームを用いることで、先行手法と比較して顕著に少ないパラメータ数でFaceForensics++で最先端の性能を達成した。

ABSTRACT

Recent developments in computer vision and machine learning have made it possible to create realistic manipulated videos of human faces, raising the issue of ensuring adequate protection against the malevolent effects unlocked by such capabilities. In this paper we propose local image features that are shared across manipulated regions are the key element for the automatic detection of manipulated face images. We also design a lightweight architecture with the correct structural biases for extracting such features and derive a multitask training scheme that consistently outperforms image class supervision alone. The trained networks achieve state-of-the-art results in the FaceForensics++ dataset using significantly reduced number of parameters and are shown to work well in detecting fully generated face images.

研究の動機と目的

• 深くリアルなディープフェイク動画の増加する脅威に対処するため、自動検出手法を開発すること。
• 顔画像の操作された領域に一貫して存在する共通の局所的画像特徴を特定すること。
• このような共有特徴を検出することに特化した構造的バイアスを組み込んだ軽量なニューラルネットワークアーキテクチャを設計すること。
• 画像レベルの監視と局所的特徴学習を統合したマルチタスク学習スキームを通じて、検出性能を向上させること。

提案手法

• 本手法は、全動画フレームにわたる空間的特徴を処理する完全畳み込みニューラルネットワーク（FCN）アーキテクチャを採用する。
• 検出の主な信号として、操作された領域に共通する局所的画像特徴を活用する。
• 一般化性能を向上させるために、画像レベル分類と局所的特徴学習を組み合わせたマルチタスク学習目的関数を導入する。
• 操作された領域における空間的に一貫性があり、繰り返し現れるパターンの検出を促進する構造的バイアスをネットワークに組み込む。
• 実画像と操作画像の両方を用いて、FaceForensics++データセット上でエンドツーエンドにモデルを訓練する。
• 効率性を最適化するために、パラメータ数を削減しながらも高い検出精度を維持するアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 操作された領域に共通する局所的画像特徴は、ディープフェイク動画検出の信号として効果的に利用可能か？
• RQ2 構造的バイアスを組み込んだマルチタスク学習は、標準的な画像分類監視と比較して、検出性能をどのように向上させるか？
• RQ3 軽量なFCNアーキテクチャは、FaceForensics++ベンチマークで少ないパラメータ数で最先端の結果を達成できるか？
• RQ4 モデルは、後処理を施した画像に限らず、完全に生成された顔画像に対してもどの程度一般化可能か？

主な発見

• 提案されたモデルはFaceForensics++データセットで最先端の性能を達成し、既存の手法よりも検出精度が優れている。
• マルチタスク学習スキームは、画像分類監視のみと比較して、一貫して検出性能を向上させる。
• ネットワークアーキテクチャは、先行の最先端モデルと比較して顕著にパラメータ効率が高く、モデルサイズを削減しても精度を損なわない。
• モデルは完全に生成された顔画像に対しても強く一般化しており、多様な操作手法に対して頑健であることが示された。
• 操作された領域に共通する局所的特徴は、ディープフェイク検出に信頼性があり、判別力のある信号である。
• 軽量な設計により、効率的な推論が可能であり、リアルタイムの動画分析アプリケーションに適している。