[論文レビュー] KoDF: A Large-scale Korean DeepFake Detection Dataset

Patrick Kwon, Jaeseong You+3 more|arXiv (Cornell University)|Mar 18, 2021

Face recognition and analysis参考文献 38被引用数 8

ひとこと要約

KoDFは、403名の韓国人被験者から収集された62,166本の本物動画および175,776本の偽物動画を含む大規模で分布制御された韓国語のディープフェイク検出データセットであり、6種類の合成手法と敵対的攻撃シミュレーションを用いている。本研究では、KoDFを既存のデータセット（FF++やDFDC）と組み合わせることで、検出モデルの汎化性能が著しく向上することを示しており、単一のデータセットのみで学習したモデルよりも優れた性能を発揮している。

ABSTRACT

A variety of effective face-swap and face-reenactment methods have been publicized in recent years, democratizing the face synthesis technology to a great extent. Videos generated as such have come to be called deepfakes with a negative connotation, for various social problems they have caused. Facing the emerging threat of deepfakes, we have built the Korean DeepFake Detection Dataset (KoDF), a large-scale collection of synthesized and real videos focused on Korean subjects. In this paper, we provide a detailed description of methods used to construct the dataset, experimentally show the discrepancy between the distributions of KoDF and existing deepfake detection datasets, and underline the importance of using multiple datasets for real-world generalization. KoDF is publicly available at https://moneybrain-research.github.io/kodf in its entirety (i.e. real clips, synthesized clips, clips with adversarial attack, and metadata).

研究の動機と目的

• 既存のディープフェイク検出データセットにおけるアジア系被験者の不足を是正すること。
• 韓国人被験者を対象に、人種的・性別的・コンテンツ的分布を制御した大規模で高品質なディープフェイクデータセットを構築すること。
• 多様な合成手法と敵対的攻撃シミュレーションを組み込むことで、モデルの頑健性を向上させること。
• 複数のデータセットを組み合わせることが、実世界の汎化性能を向上させるために不可欠であることを実証すること。
• 今後のディープフェイク検出分野の研究を支援するため、公開可能なベンチマークを提供すること。

提案手法

• 倫理的なデータ収集を確保するため、100名の報酬付き韓国人俳優の本物動画を同意を得て収集した。
• 6種類の異なるディープフェイク生成モデルを用いて175,776本の偽物動画を合成し、手法の多様性を確保した。
• 年齢、性別、コンテンツタイプの分布を制御することで、データセットのバランスと代表性を向上させた。
• モデルの頑健性をテストするため、敵対的攻撃のサンプルを導入した。
• すべての動画クリップに対してMTCNNを用いて顔のフレームを抽出し、学習および評価のための一貫性のある入力を確保した。
• FF++、DFDC、KoDFの複数データセットを統合して学習・評価することで、汎化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模で分布制御されたディープフェイクデータセットは、多様な実世界のディープフェイクシナリオにおけるモデルの汎化性能を向上させることができるか？
• RQ2 KoDFで学習したモデルの性能は、FF++ や DFDC で学習したモデルと比べてどのように異なるか？
• RQ3 複数のディープフェイクデータセットを統合することで、ドメイン外のテストセットにおける検出の頑健性はどの程度向上するか？
• RQ4 KoDFの制御された人種的・性別的・コンテンツ的分布は、非制御データセットと比較して、より優れたモデルの汎化性能をもたらすか？
• RQ5 KoDFに含まれる敵対的サンプルは、実世界の展開における摂動に対するモデルの耐性を効果的に評価できるか？

主な発見

• KoDFを含む単一のデータセットのみで学習したモデルは、ドメイン外のテストセットに対して十分に汎化できないことが判明し、分布の不一致が原因であると示された。
• KoDFをFF++およびDFDCと組み合わせることで、KoDFの敵対的サンプルを含む未観測データセットでも検出性能が著しく向上した。
• FF++、DFDC、KoDFの3つのデータセットで学習したモデルが、すべてのテストセットで最高の精度を達成し、KoDFの相乗的価値を実証した。
• KoDFの年齢・性別・コンテンツの制御された分布は、DF-1.0 や FF++ といった非制御データセットと比較して、より頑健で多様な学習データを提供している。
• KoDFに敵対的攻撃サンプルを組み込むことで、敵対的データを含まないモデルが標的の摂動に対して脆弱であることが明らかになり、敵対的データの学習における重要性が強調された。
• 本研究では、ディープフェイク検出が手法固有のアーティファクトに起因して過学習しやすいことが確認され、実世界の汎化性能を確保するには複数データセットでの学習が不可欠であることが示された。