[論文レビュー] Frequency-aware Discriminative Feature Learning Supervised by Single-Center Loss for Face Forgery Detection

Jiaming Li, Hongtao Xie+3 more|arXiv (Cornell University)|Mar 16, 2021

Face recognition and analysis参考文献 45被引用数 21

ひとこと要約

本稿では、顔偽造検出のための周波数に敏感な判別的特徴学習フレームワーク（FDFL）を提案する。このフレームワークは、実顔のクラス内凝集性を高めるとともにクラス間分離性を強化する新規のシングルセンターロス（SCL）と、データ駆動型の周波数特徴のクラウド抽出を可能にする自己適応的周波数特徴生成モジュール（AFFGM）を組み合わせている。本手法は、FF++データセットの3バージョンすべてで最先端の性能を達成し、最も挑戦的なc40スプリットでは99.43%の正確性と0.998のAUCを達成した。

ABSTRACT

Face forgery detection is raising ever-increasing interest in computer vision since facial manipulation technologies cause serious worries. Though recent works have reached sound achievements, there are still unignorable problems: a) learned features supervised by softmax loss are separable but not discriminative enough, since softmax loss does not explicitly encourage intra-class compactness and interclass separability; and b) fixed filter banks and hand-crafted features are insufficient to capture forgery patterns of frequency from diverse inputs. To compensate for such limitations, a novel frequency-aware discriminative feature learning framework is proposed in this paper. Specifically, we design a novel single-center loss (SCL) that only compresses intra-class variations of natural faces while boosting inter-class differences in the embedding space. In such a case, the network can learn more discriminative features with less optimization difficulty. Besides, an adaptive frequency feature generation module is developed to mine frequency clues in a completely data-driven fashion. With the above two modules, the whole framework can learn more discriminative features in an end-to-end manner. Extensive experiments demonstrate the effectiveness and superiority of our framework on three versions of the FF++ dataset.

研究の動機と目的

• ソフトマックス損失の限界を是正するため、クラス内凝集性とクラス間分離性に対する明示的制約が不十分である点を是正すること。
• 周波数ベースの偽造検出において固定フィルターバンクや手作業特徴に依存する問題を克服し、多様な偽造パターンに適応できる柔軟性を向上させること。
• 多様な改ざん手法にわたる微細な偽造特徴を捉えるデータ駆動型の周波数特徴抽出機構を開発すること。
• 異なる圧縮レベルや未観測の改ざん手法に対しても一般化性能と耐性を向上させること。

提案手法

• 実顔埋め込みと単一の中心点との距離を最小化するとともに、実顔と偽物顔の中心点への距離にマージンを課すシングルセンターロス（SCL）を導入する。
• SCLは実顔のクラス内凝集性のみを明示的に促進するため、多様な偽物顔分布に対する過剰な制約を回避し、最適化の難易度を低減する。
• 学習可能な周波数事前処理段階と自己適応的周波数情報抽出ブロックを備えた、自己適応的周波数特徴生成モジュール（AFFGM）を設計する。
• AFFGMにより、固定フィルターバンクに依存せずに、データから関連する周波数パターンを発見する周波数ドメインアーティファクトのエンドツーエンド学習が可能になる。
• SCLとAFFGMを統合的なエンドツーエンド学習フレームワーク内で組み合わせ、判別的特徴学習と周波数に敏感な表現を同時に最適化する。
• 特徴抽出にXceptionバックボーンを採用し、SCLとAFFGMをそれぞれ損失関数と特徴工学的コンponentとして統合する。

Figure 1: The feature distribution of samples in the embedding space. Left: learned features supervised by softmax loss are broadly separable but not discriminative enough, since the intra-class compactness and inter-class separability are not explicitly constrained. Right: our SCL only encourages t

実験結果

リサーチクエスチョン

• RQ1 実顔のクラス内凝集性のみを制約するメトリック学習損失が、顔偽造検出における特徴の判別性を向上させるとともに、最適化の難易度を低減できるか？
• RQ2 データ駆動型で自己適応的な周波数特徴生成モジュールは、手作業特徴や固定フィルターベースの周波数分析を上回り、微細な偽造アーティファクトを捉えることができるか？
• RQ3 提案されたFDFLフレームワークは、FF++データセットの異なる動画圧縮レベル（c0、c23、c40）でどのように性能を発揮するか？
• RQ4 SCLとAFFGMの統合は、ベースラインモデルや先行の最先端手法と比較して、検出性能をどの程度向上させるか？
• RQ5 このフレームワークは未観測の改ざん手法にも一般化可能か？その場面での限界は何か？

主な発見

• 提案されたFDFLフレームワークは、FF++データセットの最も挑戦的なc40バージョンで99.43%の正確性、0.998のAUC、0.924のpAUC 0.1を達成し、先行の最先端手法を上回った。
• シングルセンターロス（SCL）単体でも、ベースラインからAUCが5.5%向上、pAUC 0.1が13.8%向上し、特徴の判別性向上の有効性が示された。
• 自己適応的周波数特徴生成モジュール（AFFGM）は、AUCで4.5%、pAUC 0.1で11.7%の向上をもたらし、周波数ドメインアーティファクトの捉え方の価値を示した。
• SCLとAFFGMを統合した場合、最高の性能（AUC: 0.924、pAUC 0.1: 0.810）が得られ、両者の相乗効果と補完性が確認された。
• c40スプリットにおいて、FDFLは前回の最先端手法と比較してAUCで6.4%、pAUC 0.1で15.8%、正確性で2.86%の向上を達成し、高圧縮環境下でも強い耐性を示した。
• アブレーションスタディにより、SCLとAFFGMの両者が独立して顕著な貢献を示しており、全モデルがすべての指標で最高得点を記録した。

Figure 2: The Frequency-aware Discriminative Features Learning framework. AFFGM stands for the adaptive frequency feature generation module. AFIMB represents the adaptive frequency information mining block. FC represents the fully connected layer and $L_{ce}$ represents the cross-entropy loss. The w