[論文レビュー] Manipulated Face Detector: Joint Spatial and Frequency Domain Attention Network

Zehao Chen, Hua Yang|arXiv (Cornell University)|May 6, 2020

Face recognition and analysis参考文献 42被引用数 15

ひとこと要約

本稿では、高品質な改ざん顔画像を検出するための共同空間的・周波数ドメインアテンションネットワークを提案する。顔の意味セグメンテーション（空間的）と離散フーリエ変換（周波数）の特徴量をアテンション機構と組み合わせることで、見たことのない改ざんデータを含む両方のデータセットで最先端の性能を達成し、従来の手法に比べて顕著に一般化性能が向上した。

ABSTRACT

Face manipulation methods develop rapidly in recent years, which can generate high quality manipulated face images. However, detection methods perform not well on data produced by state-of-the-art manipulation methods, and they lack of generalization ability. In this paper, we propose a novel manipulated face detector, which is based on spatial and frequency domain combination and attention mechanism. Spatial domain features are extracted by facial semantic segmentation, and frequency domain features are extracted by Discrete Fourier Transform. We use features both in spatial domain and frequency domain as inputs in proposed model. And we add attention-based layers to backbone networks, in order to improve its generalization ability. We evaluate proposed model on several datasets and compare it with other state-of-the-art manipulated face detection methods. The results show our model performs best on both seen and unseen data.

研究の動機と目的

• 最新の顔改ざん技術に対して、従来の改ざん顔検出手法の一般化性能が限定的であるという問題に対処すること。
• 空間的および周波数ドメインからの補完的特徴量を活用することで、検出性能を向上させること。
• バックボーンネットワークにおけるアテンションベースの特徴量学習を通じて、モデルの頑健性と一般化性能を向上させること。
• 意味的およびスペクトル的表現を効果的に統合する統一フレームワークを構築すること。

提案手法

• 顔の意味セグメンテーションを用いて空間的特徴量を抽出し、高レベルの顔構造および異常を捉える。
• 離散フーリエ変換を用いて周波数ドメイン特徴量を取得し、周波数スペクトルにおけるグローバルなテクスチャおよび構造的歪みをモデル化する。
• ネットワークの初期段階で空間的および周波数ドメイン特徴量を統合し、共同表現学習を可能にする。
• アテンション機構をバックボーンネットワークに統合し、動的に識別的な空間的および周波数特徴量を強調する。
• 検出性能を最適化するために、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 多様な改ざんタイプにわたる頑健性を評価するために、複数のベンチマークデータセットで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 空間的および周波数ドメイン特徴量を組み合わせることで、高品質な改ざん顔画像の検出性能が向上するか？
• RQ2 アテンションベースの特徴量学習は、未確認の改ざん手法への一般化をどのように向上させるか？
• RQ3 空間的および周波数表現の早期統合は、モダリティ固有または遅延統合アプローチに比べてより優れた検出性能をもたらすか？
• RQ4 提案手法は、見られるおよび見えない改ざんデータの両方で、最先端の手法に比べて優れているか？

主な発見

• 提案手法は、複数のベンチマークデータセットにおいて、見られるおよび見えないデータの両方で最高の性能を達成した。
• アテンション機構の統合により、未確認の改ざん手法への一般化能力が顕著に向上した。
• 空間的（意味セグメンテーション）および周波数的（DFT）特徴量の併用により、単一モダリティを用いる場合よりもより頑健な検出が可能になった。
• モデルは優れた一般化性能を示し、未確認の改ざんタイプにおいて、従来の最先端手法を上回った。