[論文レビュー] DiffFace-Edit: A Diffusion-Based Facial Dataset for Forgery-Semantic Driven Deepfake Detection Analysis

Feng Ding, Wenhui Yi+4 more|arXiv (Cornell University)|Jan 20, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

DiffFace-Editは、拡散モデルで編集された8つの顔領域に焦点を当てた百万規模の部分的合成顔データセットを導入し、検出器回避サンプルを分析し、拡散モデル操作を跨ぐIMDL局在化手法をベンチマークします。

ABSTRACT

Generative models now produce imperceptible, fine-grained manipulated faces, posing significant privacy risks. However, existing AI-generated face datasets generally lack focus on samples with fine-grained regional manipulations. Furthermore, no researchers have yet studied the real impact of splice attacks, which occur between real and manipulated samples, on detectors. We refer to these as detector-evasive samples. Based on this, we introduce the DiffFace-Edit dataset, which has the following advantages: 1) It contains over two million AI-generated fake images. 2) It features edits across eight facial regions (e.g., eyes, nose) and includes a richer variety of editing combinations, such as single-region and multi-region edits. Additionally, we specifically analyze the impact of detector-evasive samples on detection models. We conduct a comprehensive analysis of the dataset and propose a cross-domain evaluation that combines IMDL methods. Dataset will be available at https://github.com/ywh1093/DiffFace-Edit.

研究の動機と目的

• forgery検出のための微細な領域レベルの顔操作データの不足を解消する。
• 正確な領域注釈とプロンプトを備えた百万規模の部分的合成顔データセットを提供する。
• 検出器回避（SA）サンプルとそれらがIMDLモデルの局在化性能に与える影響を研究する。
• 拡散モデル操作を跨ぐ複数のIMDL局在化器を組み合わせてクロスドメイン検出/局在を評価する。

提案手法

• 8つの顔領域を編集した6つの拡散モデルを用いた単一領域および複数領域編集により部分的に合成された顔を生成する。
• 各偽造画像を編集領域と使用した特定のプロンプトで注釈付けする。
• 検出器回避サンプルと意味的にあいましいサンプルを含めて検出器の堅牢性をテストする。
• SC-およびSA-サンプル条件下でピクセルレベルのF1およびIoU指標を用いて8つのIMDL局在化器をベンチマークする。
• IMDL手法を8つの局在化器を統合することでクロスドメイン評価を実施する。
• IMDL-BenCoスタイルに従うクロスドメイン評価フレームワークを提供する。

Fig. 1 : The fake data generation pipeline of proposed DiffFace-Edit dataset.

実験結果

リサーチクエスチョン

• RQ1 8つの顔領域にわたる部分領域編集は、IMDLモデルによる forgery検出および局在化にどのような影響を与えるか。
• RQ2 検出器回避SAサンプルが拡散モデル編集を跨ぐIMDL局在化性能に与える影響はどの程度か。
• RQ3 SCサンプルでの訓練はSAサンプルおよび他の拡散モデル間で一般化するか。
• RQ4 改変領域の多様性を高める（one-region → five-region → eight-region）は局在化精度を劣化させるか。
• RQ5 複数の局在化器を活用したクロスドメインIMDL評価は拡散ベースの偽造に対する堅牢性を向上させるか。

主な発見

• DiffFace-Editには、スプライシング、除去、コピー-ムーブ操作を含む200万件を超える偽造顔画像が含まれる。
• Detector-evasive SAサンプルは、SAサンプルでテストした際にIMDL局在化器全体でIoUとF1を大幅に低下させる。
• SCサンプルで訓練されたモデルはSCサンプルでの局在化が高いが、他の拡散モデルからのSAサンプルへ一般化できない。
• 除去サンプルは視覚的一貫性が高いにもかかわらず一部ケースで誤検出率が高いという直感に反する検出難易度を示す。
• 偽造領域の豊かさを増す（one-region から eight-region）と、いくつかのIMDLモデルの局在化性能が一般に低下する。
• エッジ認識型局在化器（例：IML-ViT）は通常、単純検出器より優れているが、パ manipulatingの種類と拡散モデルによって性能は異なる。

Fig. 2 : Distribution of the splicing subset. Panel (a) shows the proportion of each edited region in single-region edits; panel (b) shows the proportion of each edited region in multi-region edits; panel (c) shows the distribution of multi-region edits by number of edited regions.