[論文レビュー] FakeSpotter: A Simple yet Robust Baseline for Spotting AI-Synthesized Fake Faces

Run Wang, Felix Juefei-Xu+5 more|arXiv (Cornell University)|Sep 13, 2019

Digital Media Forensic Detection参考文献 55被引用数 32

ひとこと要約

FakeSpotterは、深層顔認識モデル内のレイヤーワイズの活性化パターンを分析することで、AI生成の偽造顔を検出する、ニューロンカバレッジに基づく新規アプローチを提案する。本手法は、4種類の偽造顔タイプ（DeepFake、属性編集、表情操作を含む）に対して90%を超える平均検出精度を達成し、ノイズ、ぼかし、圧縮、リサイズの4種類の攻撃に対して平均で3.77%以内のAUCスコアの低下を示し、多様な偽造顔タイプに対して高い耐性と有効性を示している。

ABSTRACT

In recent years, generative adversarial networks (GANs) and its variants have achieved unprecedented success in image synthesis. They are widely adopted in synthesizing facial images which brings potential security concerns to humans as the fakes spread and fuel the misinformation. However, robust detectors of these AI-synthesized fake faces are still in their infancy and are not ready to fully tackle this emerging challenge. In this work, we propose a novel approach, named FakeSpotter, based on monitoring neuron behaviors to spot AI-synthesized fake faces. The studies on neuron coverage and interactions have successfully shown that they can be served as testing criteria for deep learning systems, especially under the settings of being exposed to adversarial attacks. Here, we conjecture that monitoring neuron behavior can also serve as an asset in detecting fake faces since layer-by-layer neuron activation patterns may capture more subtle features that are important for the fake detector. Experimental results on detecting four types of fake faces synthesized with the state-of-the-art GANs and evading four perturbation attacks show the effectiveness and robustness of our approach.

研究の動機と目的

• AI生成の偽造顔の検出に向けた強力な手法の必要性に応える。これは、その現実性の高さと広範な拡散が、セキュリティとプライバシーのリスクを増大させているためである。
• 従来の手法では、複数の偽造顔生成モードおよび敵対的摂動に対して包括的な評価が行われていないという限界を克服する。
• 実世界の展開において一般的に見られる画像変換および摂動に対して、効果的かつ耐性を持つ検出フレームワークを開発する。
• ニューロン活性化パターンを、本物の顔と偽物の顔を区別するための信頼できる信号として確立し、深層学習ベースの偽物検出における新たなパラダイムを提供する。

提案手法

• 深層顔認識モデルを特徴抽出器として活用し、レイヤーワイズのニューロン活性化パターンをモニタリングすることで、本物と偽物の顔の微細な差を検出する。
• レイヤー全体の活性化ニューロンの割合を測定するニューロンカバレッジ統計を入力特徴として用い、バイナリ分類器を構築する。
• 4種類の異なる偽造顔タイプ（全体顔生成：StyleGAN2、顔貌属性編集：STGAN、表情操作：StyleGAN/STGAN、DeepFake：FaceForensics++およびDFDC）に対して検出器を訓練および評価する。
• ノイズ、ぼかし、圧縮、リサイズの4種類の一般的な摂動攻撃を、さまざまな強度で適用し、耐性および汎化性能を評価する。
• 主評価指標としてAUCスコアを用い、画像および動画データセットにおいて、AutoGANなどの先行研究と比較する。
• Celeb-DF(v2)向けに、フレームレベルの特徴を抽出し、動画シーケンス全体にわたって予測を集約することで、動画検出に本手法を適応する。

実験結果

リサーチクエスチョン

• RQ1 深層顔認識モデルのレイヤー間におけるニューロン活性化パターンは、AI生成の偽造顔を検出する信頼できる信号として機能するか？
• RQ2 FakeSpotterは、顔全体の生成、属性編集、表情操作、DeepFakeを含む多様な偽造顔生成モードにおいて、どのように性能を発揮するか？
• RQ3 実世界のシナリオにおいて、ノイズ、ぼかし、圧縮、リサイズなどの一般的な画像摂動に対して、FakeSpotterはどの程度耐性を示すか？
• RQ4 画像および動画の偽物検出ベンチマークにおいて、FakeSpotterはAutoGANなどの既存の最先端手法と比較して、どの程度の性能を示すか？
• RQ5 ニューロンカバレッジに基づくアプローチは、生成技術がより複雑で多様な高品質動画データセット（Celeb-DF(v2)）にも汎用的に適用可能か？

主な発見

• FakeSpotterは、4種類のAI生成偽造顔に対して平均で90%を超える検出精度を達成し、高い有効性を示している。
• 4種類の摂動攻撃（5段階の強度）を適用した場合、FakeSpotterのAUCスコアは平均で3.77%以内に低下するため、高い耐性を示している。
• Celeb-DF(v2)動画データセットでは、FakeSpotterはAUCスコア66.8%を達成し、ベンチマークに掲載されたすべての既存手法を上回っている。
• ノイズおよび圧縮に対して特に耐性があり、高強度の摂動でも性能の変動が最小限に抑えられている。
• DFDCデータセットでは性能が低く抑えられているが、これは主に音声交換攻撃が含まれており、本手法の画像専用検出メカニズムの範囲外にあるためである。
• ニューロンカバレッジに基づくアプローチは、偽物の音声や動画など、他のモダリティへも拡張可能な、新たな汎用的信号を明らかにした。