[論文レビュー] Deep Fake Detection: Survey of Facial Manipulation Detection Solutions

Samay Pashine, Sagar Mandiya+2 more|arXiv (Cornell University)|Jun 23, 2021

Digital Media Forensic Detection参考文献 13被引用数 7

ひとこと要約

本論文は、リアルタイムおよび高精度なシナリオにおける深造化偽造動画検出のため、最先端の深層畳み込みニューラルネットワーク（MesoNet、ResNet-50、VGG-19、Xception）を評価している。Xceptionは、深さ方向分離畳み込みの恩恵により、他のモデルを上回る精度を達成している一方、VGG-19は中程度リソース環境における速度と性能の最適なバランスを提供している。

ABSTRACT

Deep Learning as a field has been successfully used to solve a plethora of complex problems, the likes of which we could not have imagined a few decades back. But as many benefits as it brings, there are still ways in which it can be used to bring harm to our society. Deep fakes have been proven to be one such problem, and now more than ever, when any individual can create a fake image or video simply using an application on the smartphone, there need to be some countermeasures, with which we can detect if the image or video is a fake or real and dispose of the problem threatening the trustworthiness of online information. Although the Deep fakes created by neural networks, may seem to be as real as a real image or video, it still leaves behind spatial and temporal traces or signatures after moderation, these signatures while being invisible to a human eye can be detected with the help of a neural network trained to specialize in Deep fake detection. In this paper, we analyze several such states of the art neural networks (MesoNet, ResNet-50, VGG-19, and Xception Net) and compare them against each other, to find an optimal solution for various scenarios like real-time deep fake detection to be deployed in online social media platforms where the classification should be made as fast as possible or for a small news agency where the classification need not be in real-time but requires utmost accuracy.

研究の動機と目的

• MesoNet、ResNet-50、VGG-19、Xceptionの各ネットワークが、深造化偽造動画における顔の改ざんを検出する性能を評価・比較すること。
• 低性能ハードウェアでのリアルタイム検出と高精度ハードウェアでの検出という異なる展開シナリオに最適なモデルを特定すること。
• 複数のベンチマークデータセットを用いた、推論時間、精度、損失、ハードウェア要件に基づくモデル効率の評価。
• 報道機関、ソーシャルメディアプラットフォーム、政府機関がメディアフォレンジックスのためのモデル選定に役立つ具体的な助言を提供すること。

提案手法

• Celeb-DF、Celeb-DF-v2、KaggleコンペティションのDFDCの3つの公開データセットを用い、MesoNet、ResNet-50、VGG-19、Xceptionの各ネットワークを訓練および評価した。
• 公平な比較のため、クロスエントロピー損失とAdam最適化手法を用いた標準的なディープラーニング訓練プロトコルを採用した。
• 限られた訓練データに対する汎化性能を向上させるために、データオーグメンテーションおよびトランスファーラーニング技術を適用した。
• 速度と精度のトレードオフを評価するため、精度、損失、推論時間、モデル複雑度を測定した。
• XceptionやResNet-50のような複雑なモデルの推論時間を短縮するために、TensorRT最適化を適用した。
• 注意メカニズムと特徴マップを用いて、深造化偽造における空間的・時間的アーティファクトを分析し、検出感度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 Celeb-DF、Celeb-DF-v2、DFDCといった多様な深造化偽造データセットにおいて、どのディープラーニングアーキテクチャが最高の検出精度を達成するか？
• RQ2 リアルタイム展開シナリオにおいて、MesoNet、ResNet-50、VGG-19、Xceptionの各モデルの推論時間とモデル複雑度はどのように変化するか？
• RQ3 低性能システムと高精度システムの両方において、深造化偽造検出におけるモデルの精度とハードウェア要件のトレードオフはどのようなものか？
• RQ4 注意に基づく変更を加えることで、困難な深造化偽造サンプルにおいて、標準アーキテクチャを上回る検出性能を達成できるか？
• RQ5 ソーシャルメディアプラットフォームや報道機関での展開に最適な、速度、精度、リソース効率のバランスを取ったモデルはどれか？

主な発見

• Xceptionは、深さ方向分離畳み込みアーキテクチャのおかげで、3つのデータセットすべてで他のすべてのモデルを上回る検出精度を達成した。
• ResNet-50とVGG-19は、同等の精度と損失を達成したが、ResNet-50の深い構造により、複雑で洗練された深造化偽造動画の検出がより良好にできた。
• MesoNetは浅いアーキテクチャのため、複雑な深造化偽造動画では性能が限定的であり、推論時間制約が厳しい低性能ハードウェアでの利用に限定される。
• VGG-19は、推論速度と精度の両面で良好なバランスを示し、ResNet-50 や Xception よりもハードウェア効率に優れていた。
• Xceptionは、顕著に高い訓練時間と推論時間を要し、高スペックハードウェアを必要としたが、その性能の差が、高精度を求める用途において正当化された。
• TensorRT最適化により、XceptionとResNet-50の推論時間が顕著に短縮され、最適化済み環境におけるリアルタイム展開がより現実的になった。