[論文レビュー] Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain

Honggu Liu, Xiaodan Li+6 more|arXiv (Cornell University)|Mar 2, 2021

Digital Media Forensic Detection参考文献 48被引用数 23

ひとこと要約

本論文は、生成的顔偽造パイプラインで一般的に見られるアップサンプリングアーティファクトを検出するために周波数ドメインにおける位相スペクトルを活用する、新しい顔偽造検出手法であるSpatial-Phase Shallow Learning (SPSL)を提案する。浅いネットワークを用いて局所的なテクスチャに注目し、高レベルの意味的特徴を抑えることで、性能を向上させる。クロスデータセット評価において最先端の性能を達成し、ベースラインモデル比でAUCが13%向上した。

ABSTRACT

The remarkable success in face forgery techniques has received considerable attention in computer vision due to security concerns. We observe that up-sampling is a necessary step of most face forgery techniques, and cumulative up-sampling will result in obvious changes in the frequency domain, especially in the phase spectrum. According to the property of natural images, the phase spectrum preserves abundant frequency components that provide extra information and complement the loss of the amplitude spectrum. To this end, we present a novel Spatial-Phase Shallow Learning (SPSL) method, which combines spatial image and phase spectrum to capture the up-sampling artifacts of face forgery to improve the transferability, for face forgery detection. And we also theoretically analyze the validity of utilizing the phase spectrum. Moreover, we notice that local texture information is more crucial than high-level semantic information for the face forgery detection task. So we reduce the receptive fields by shallowing the network to suppress high-level features and focus on the local region. Extensive experiments show that SPSL can achieve the state-of-the-art performance on cross-datasets evaluation as well as multi-class classification and obtain comparable results on single dataset evaluation.

研究の動機と目的

• 未観測のデータセットや操作タイプにわたる既存の顔偽造検出手法の限られた転送性を改善すること。
• 生成的顔偽造パイプラインにおけるアップサンプリング操作が生じる、周波数ドメインにおける位相スペクトルに利用可能なアーティファクトが存在するかを調査すること。
• ネットワークの深さを低くすることで局所的テクスチャパターンに注目し、高レベルの意味的特徴を抑えることで、検出の頑健性を向上させること。
• クロスデータセットおよびマルチクラス顔偽造検出タスクの両方で性能を向上させる汎用的なフレームワークを開発すること。

提案手法

• 本手法は2次元フーリエ変換を用いて顔画像から位相スペクトルを抽出し、空間ドメイン特徴と組み合わせて共同学習を実施する。
• 受容 field を小さくし、高レベルの意味的表現を抑えるために、浅い畳み込みニューラルネットワークアーキテクチャを採用し、代わりに局所的テクスチャパターンに注目する。
• モデルはエンドツーエンドで学習され、GAN や VAE における繰り返しのアップサンプリングによって生じる微細な周波数ドメインアーティファクト（特に位相スペクトル内）を検出することを目的とする。
• 理論的分析を通じて、位相スペクトルがアップサンプリング操作に対して感受性が高く、偽造痕跡を捉える上で振幅スペクトルよりも優れていることを示す。
• 複数のバックボーン（Xception、ResNet-34、ResNet-50）を用いた評価により、アーキテクチャを問わず汎用性が確認された。
• Grad-CAM 視覚化と t-SNE 特徴空間解析を用いて、SPSL がグローバルな画像構造ではなく、マイクロテクスチャ領域に注目していることを検証した。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメインにおける位相スペクトルは、偽造顔におけるアップサンプリングアーティファクトを検出するための信頼できる信号として機能するか？
• RQ2 ネットワークの深さを低くすることで、局所的テクスチャに注目し、高レベルの意味的特徴を抑えることで、検出性能が向上するか？
• RQ3 空間ドメインと位相ドメインの特徴を組み合わせることで、異なる顔偽造データセット間での転送性がどのように向上するか？
• RQ4 マルチクラス分類において、SPSL は多様なバックボーンおよび操作タイプにどの程度一般化するか？
• RQ5 なぜ偽造顔画像において位相スペクトルは振幅スペクトルよりもアップサンプリングに対してより感受性が強いのか？

主な発見

• SPSL は、FF++ HQ で学習した場合、Celeb-DF で 72.39% の AUC を達成し、ベースラインの Xception モデル比で 13% の向上を示した。
• アブレーションスタディの結果、位相スペクトルの活用と浅いネットワーク設計の組み合わせが最も高い性能向上をもたらし、AUC は 59.98% から 72.39% に上昇した。
• t-SNE 視覚化の結果、SPSL はベースラインと比較して、異なる操作タイプに対してより明確でコンパクトな特徴クラスタを学習していることが示された。
• Grad-CAM 分析により、SPSL がグローバルな顔の構造ではなく、マイクロテクスチャ領域に注目していることが確認され、設計の目的と整合的であった。
• SPSL は異なるバックボーンに対しても良好な一般化性能を示した：ResNet-50 を用いた SPSL は、FF++ で 91.04% の AUC、Celeb-DF で 73.09% の AUC を達成し、元の ResNet-50 を上回った。
• マルチクラス分類においても優れた性能を示し、ResNet-50 を用いた SPSL は、FF++ で 86.64% の正答率と 91.04% の AUC を達成した。