[論文レビュー] Recurrent-Convolution Approach to DeepFake Detection - State-Of-Art Results on FaceForensics++

Ekraam Sabir, Jiaxin Cheng+4 more|arXiv (Cornell University)|May 2, 2019

Digital Media Forensic Detection参考文献 21被引用数 6

ひとこと要約

この論文では、動画ストリーム内の時間的ダイナミクスを活用して、Deepfake、Face2Face、FaceSwapの改ざんを検出する再帰的畳み込みニューラルネットワーク（recurrent-convolutional）深層学習モデルを提案する。最適化された再帰的畳み込みアーキテクチャとドメイン固有の顔前処理を組み合わせることで、FaceForensics++で最先端の性能を達成し、従来手法比で最大4.55%の精度向上を実現した。

ABSTRACT

The spread of misinformation through synthetically generated yet realistic images and videos has become a significant problem, calling for robust manipulation detection methods. Despite the predominant effort of detecting face manipulation in still images, less attention has been paid to the identification of tampered faces in videos by taking advantage of the temporal information present in the stream. Recurrent convolutional models are a class of deep learning models which have proven effective at exploiting the temporal information from image streams across domains. We thereby distill the best strategy for combining variations in these models along with domain specific face preprocessing techniques through extensive experimentation to obtain state-of-the-art performance on publicly available video-based facial manipulation benchmarks. Specifically, we attempt to detect Deepfake, Face2Face and FaceSwap tampered faces in video streams. Evaluation is performed on the recently introduced FaceForensics++ dataset, improving the previous state-of-the-art by up to 4.55% in accuracy.

研究の動機と目的

• Deepfake、Face2Face、FaceSwapのような動画ベースの顔改ざんの増加する脅威に対処し、誤情報の拡散を防ぐ。
• 静的画像ベースの手法を超えて、動画シーケンス内の時間的情報を活用して検出性能を向上させる。
• 動画レベルの改ざん検出に最適化された再帰的および畳み込みニューラルネットワーク部品の統合を図る。
• アーキテクチャの革新とドメイン固有の前処理技術を組み合わせることで、ベンチマークデータセットにおける検出性能を向上させる。
• FaceForensics++データセットで最先端の結果を達成し、動画ベースの深層偽造検出における新たな性能基準を確立する。

提案手法

• 動画フレーム間の空間的・時間的依存関係をモデル化するため、再帰的畳み込みニューラルネットワークアーキテクチャを採用する。
• 特徴表現の向上とモデルの頑健性を高めるために、ドメイン固有の顔前処理技術を適用する。
• 再帰的および畳み込み部品の変種を体系的に比較し、最適な構成を同定する。
• 多様な動画ベースの顔改ざんタイプを含むFaceForensics++データセット上で、モデルを訓練および評価する。
• エンド・トゥ・エンドの学習により、フレームからの空間的特徴とシーケンス全体の時間的パターンを同時に学習する。
• 検出精度を最大化するために、広範なアブレーションスタディを通じてハイパーパrameterとアーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 再帰的畳み込みモデルは、動画ストリーム内の時間的情報をどれほど効果的に活用して顔の改ざんを検出できるか？
• RQ2 動画ベースの深層偽造検出に最適な再帰的および畳み込み部品の組み合わせは何か？
• RQ3 ドメイン固有の前処理技術は、動画ベンチマークにおける深層偽造検出モデルの性能にどのように影響するか？
• RQ4 アーキテクチャの改善とハイパーパrameterチューニングは、FaceForensics++データセットにおける検出精度をどの程度向上できるか？
• RQ5 提案手法は、既存の最先端手法を動画ベースの顔改ざん検出において上回ることができるか？

主な発見

• 提案された再帰的畳み込みモデルは、FaceForensics++ベンチマークで前回の最先端手法比で4.55%の精度向上を達成した。
• 再帰層による時間的モデリングは、空間的畳み込み特徴に依存するモデルと比較して、検出性能を顕著に向上させる。
• 特定の再帰アーキテクチャと特化した顔前処理パイプラインの組み合わせが、最良の性能をもたらす。
• 本手法は、Deepfake、Face2Face、FaceSwapを含む複数の改ざんタイプにわたり、良好な一般化性能を示した。
• 広範なアブレーションスタディにより、アーキテクチャの選択と前処理技術が最終的な検出精度に顕著な影響を与えることが確認された。
• 本モデルはFaceForensics++データセットで新たな性能基準を確立し、動画ベースの深層偽造検出における時間的モデリングの有効性を示した。