[論文レビュー] DeepFake MNIST+: A DeepFake Facial Animation Dataset

Jiajun Huang, Wang Xue-yu+3 more|arXiv (Cornell University)|Aug 18, 2021

Digital Media Forensic Detection参考文献 30被引用数 5

ひとこと要約

本論文は、最先端の画像アニメーションモデルを用いて生成された10,000本の高精細な偽造動画を含む大規模な顔面アニメーションデータセットであるDeepFake MNIST+を紹介する。各動画は10種類の異なる顔面行動（例：笑顔、瞬き、頭部の左右傾き、頭部の前傾）を再現している。このデータセットは、既存の生体認証検出システムの脆弱性を露呈することを目的として設計されており、ResNet50ベースのベースライン検出器を評価した結果、アニメーションデータで学習したモデルは、未観測の行動や圧縮処理下でもより一般化性能が高く、特に頭部の前傾のような複雑な動きに対して優れた耐性を示すことが判明した。

ABSTRACT

The DeepFakes, which are the facial manipulation techniques, is the emerging threat to digital society. Various DeepFake detection methods and datasets are proposed for detecting such data, especially for face-swapping. However, recent researches less consider facial animation, which is also important in the DeepFake attack side. It tries to animate a face image with actions provided by a driving video, which also leads to a concern about the security of recent payment systems that reply on liveness detection to authenticate real users via recognising a sequence of user facial actions. However, our experiments show that the existed datasets are not sufficient to develop reliable detection methods. While the current liveness detector cannot defend such videos as the attack. As a response, we propose a new human face animation dataset, called DeepFake MNIST+, generated by a SOTA image animation generator. It includes 10,000 facial animation videos in ten different actions, which can spoof the recent liveness detectors. A baseline detection method and a comprehensive analysis of the method is also included in this paper. In addition, we analyze the proposed dataset's properties and reveal the difficulty and importance of detecting animation datasets under different types of motion and compression quality.

研究の動機と目的

• 顔面アニメーションに焦点を当てたDeepFake検出の分野におけるデータセットの不足に応えること、特に生体認証スプーフィング攻撃を想定すること。
• 商業的生体認証検出器をかいくぐれる、現実的で高精細な顔面アニメーションを捉えたベンチマークデータセットの構築。
• アニメーション固有のデータで学習した検出モデルの、異なる動きタイプおよび動画圧縮レベルにおける一般化能力の評価。
• 強力なベースライン検出手法の確立と、動画品質や行動複雑度を含むさまざまな条件下での性能分析。
• アイデンティティ交換データセットで学習した既存のDeepFake検出モデルが、顔面アニメーション攻撃に適用された場合の限界の解明。

提案手法

• 本研究では、ドライブ動画の動きをソース顔画像に転送する最先端の画像アニメーションモデルを用い、リアルな顔面アニメーション動画を生成した。
• 本データセットには、10種類の顔面行動（例：笑顔、瞬き、頭部ヨーイング、頭部スロープ）を含む10,000本の偽造アニメーション動画に加え、教師あり学習用に10,000本の本物顔動画が含まれる。
• 本物対偽物を区別するためのResNet50ベースの二値分類器をベースライン検出モデルとして訓練し、異なる動画品質（オリジナル、中程度、重度の圧縮）で評価した。
• クラス活性マッピング（CAM）を用いて、分類器が検出意思決定にどの顔面領域（例：口、首、側顔）に注目しているかを可視化した。
• 検出精度を、行動タイプと圧縮レベルごとに測定し、学習データ構成に関するアブレーションスタディを実施した。
• 動きの種類（例：大規模な動き対小規模な動き）と動画品質が検出性能に与える影響について、包括的な分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティ交換データセットで学習した既存のDeepFake検出モデルは、顔面アニメーションベースのスプーフィング攻撃を効果的に検出できるか？
• RQ2 動画の圧縮品質が、さまざまな行動における顔面アニメーション動画の検出可能性にどのように影響するか？
• RQ3 どの顔面行動が検出モデルにとって最も困難であり、それらが未観測の行動への一般化に寄与するか？
• RQ4 目立たない動き（例：瞬きや笑顔）よりも、検出が難しい行動で学習したモデルは、より優れた一般化性能を示すか？
• RQ5 検出モデルは、偽造領域に特化した視覚的特徴を学習しているか？また、それらの特徴は偽造領域に局在しているか？

主な発見

• 公開利用可能な最先端の生体認証検出器は、DeepFake MNIST+の偽造アニメーション動画を検出できず、現行システムにおける深刻な脆弱性を示している。
• 重度の圧縮下では検出精度が著しく低下し、特に「恥ずかしさ」行動では最も低い性能（87.5%）を示した。これはオリジナル品質と比較して7%の差を示した。
• 大きな動き（左・右へのスロープ）を示す行動は、検出が最も困難であり（オリジナル品質で92.3%、重度圧縮で88.24%）、しかし、それらの行動で学習させることで未観測の行動への一般化性能が向上した。
• 検出が容易な行動（例：笑顔、瞬き）はオリジナル動画で100%の精度を達成し、圧縮下でも97%以上を維持したが、それらの行動でのみ学習したモデルは、より困難な行動への一般化性能が著しく劣った。
• CAMの可視化により、モデルが偽造領域（例：口、首、側顔）に注目していることが確認され、検出に意味的に関連する手がかりを学習していることが示された。
• 特に複雑な動きを含む多様な行動で学習させることで、さまざまなタイプのDeepFake攻撃に対してより高い耐性と一般化性能が得られることが明らかになった。