[論文レビュー] Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis

Yang He, Ning Yu+2 more|arXiv (Cornell University)|May 29, 2021

Digital Media Forensic Detection参考文献 39被引用数 6

ひとこと要約

本論文は、超解像、ノイズ除去、色付けを用いた再合成を通じて、偽物と本物の画像を区別するための強固で高レベルの視覚的特徴を抽出する、画期的なディープフェイク検出手法を提案する。本手法では、本物の画像上で再合成器を学習させ、複数段階の再構成誤差を分析することで、優れた検出精度、アーキテクチャ間の一般化性能、および敵対的摂動に対する耐性を達成し、CelebA-HQ、FFHQ、LSUNデータセットにおいて周波数ベースの手法を上回る性能を示した。

ABSTRACT

The rapid advances in deep generative models over the past years have led to highly realistic media, known as deepfakes, that are commonly indistinguishable from real to human eyes. These advances make assessing the authenticity of visual data increasingly difficult and pose a misinformation threat to the trustworthiness of visual content in general. Although recent work has shown strong detection accuracy of such deepfakes, the success largely relies on identifying frequency artifacts in the generated images, which will not yield a sustainable detection approach as generative models continue evolving and closing the gap to real images. In order to overcome this issue, we propose a novel fake detection that is designed to re-synthesize testing images and extract visual cues for detection. The re-synthesis procedure is flexible, allowing us to incorporate a series of visual tasks - we adopt super-resolution, denoising and colorization as the re-synthesis. We demonstrate the improved effectiveness, cross-GAN generalization, and robustness against perturbations of our approach in a variety of detection scenarios involving multiple generators over CelebA-HQ, FFHQ, and LSUN datasets. Source code is available at https://github.com/SSAW14/BeyondtheSpectrum.

研究の動機と目的

• 高度なGANによって容易に隠蔽可能な、脆弱な低レベルまたは周波数アーティファクトに依存する既存のディープフェイク検出器の限界を是正すること。
• 再合成からの階層的視覚的手がかりを活用することで、進化を続けるGANアーキテクチャや敵対的摂動に対して耐性を持つ検出手法を開発すること。
• 多様なデータセットや未知の生成器を含む環境において、ディープフェイク検出におけるアーキテクチャ間一般化性能と耐性を向上させること。
• 複数段階の再構成誤差から得られる高レベル特徴が、従来の周波数ベースや局所的アーティファクト分析に比べてより信頼性が高いことを示すこと。

提案手法

• 本物の画像上で、超解像、ノイズ除去、色付けの3つの視覚的タスクを用いて再合成器を学習させ、自然画像の事前知識をモデル化する。
• 再合成器は本物および偽物の両方の画像を処理し、ネットワークの複数段階で再構成誤差を生成する。
• 分類器は、周波数アーティファクトに依存しない多段階再構成誤差特徴を学習することで検出を実施する。
• ピクセルレベルの入力と段階別特徴（例：段階5）を用いて、検出器に依存しない識別的表現を抽出する。
• 再合成時にノイズを導入することで過学習を回避し、摂動に対して耐性を高める。
• 分類器は再構成誤差上でエンドツーエンドに学習され、周波数ドメインのパターンに依存せずに検出が可能になる。

実験結果

リサーチクエスチョン

• RQ1 再合成に基づく特徴は、周波数アーティファクトに依存しない範囲でディープフェイク検出を改善できるか？
• RQ2 超解像、ノイズ除去、色付けを含むマルチタスク再合成は、検出の耐性および一般化性能をどのように向上させるか？
• RQ3 本手法は、StyleGAN、StyleGAN2、ProGANなどの異なるGANアーキテクチャにどの程度一般化できるか？
• RQ4 従来のアーティファクトを隠蔽する敵対的摂動下でも、本手法はどの程度の性能を示すか？
• RQ5 再合成器からの階層的再構成誤差は、低レベルまたは周波数ベースの手がかりに比べ、より持続可能な特徴表現として機能できるか？

主な発見

• StyleGAN2で生成されたディープフェイクを含むFFHQデータセットにおいて、本手法はSR+C再合成で摂動下でも92.7%の精度を達成し、DCT-2d（80.0%）や他のSOTA手法を上回った。
• 段階5の再構成誤差モデルは、StyleGANで生成されたFFHQデータセットで87.7%の精度を示し、GANタイプ間での強力な一般化性能を示した。
• LSUNデータセットでは、SR+CおよびSR+Dバージョンが摂動下でも95%を超える精度を維持したのに対し、他の手法は70%未満に低下した。
• ピクセルベースの再合成モデルは、FFHQで平均78.7%の精度を達成し、StyleGAN2ではDCT-2dを上回る性能を示し、耐性の向上を示した。
• クラスアクティベーションマップから、本手法はLSUNにおいて背景領域に注目していることが判明した。これは、背景が生成が難しい領域であるため、構造的不一致に敏感であることを示唆している。
• 本手法は、特に複数の再合成タスクを組み合わせた場合、摂動に対して優れた安定性と耐性を示した。