[論文レビュー] Deepfake Detection using Biological Features: A Survey

Kundan Patil, Shrushti Kale+2 more|arXiv (Cornell University)|Jan 14, 2023

Digital Media Forensic Detection被引用数 5

ひとこと要約

本調査では、眼の瞬き、眉の動き、耳や口の動き、脈拍率といった生物学的特徴を活用した深フェイク検出フレームワークを提案する。LRCN、GAN、および光容積脈波計測法（PPG）といった分類器を用いる。DeepFakesON-Physは最先端の性能を達成し、Face Forensics++データセットではベースラインより25.66%の精度向上を達成し、Celeb-DFではEERが20.7%にまで低下した。

ABSTRACT

Deepfake is a deep learning-based technique that makes it easy to change or modify images and videos. In investigations and court, visual evidence is commonly employed, but these pieces of evidence may now be suspect due to technological advancements in deepfake. Deepfakes have been used to blackmail individuals, plan terrorist attacks, disseminate false information, defame individuals, and foment political turmoil. This study describes the history of deepfake, its development and detection, and the challenges based on physiological measurements such as eyebrow recognition, eye blinking detection, eye movement detection, ear and mouth detection, and heartbeat detection. The study also proposes a scope in this field and compares the different biological features and their classifiers. Deepfakes are created using the generative adversarial network (GANs) model, and were once easy to detect by humans due to visible artifacts. However, as technology has advanced, deepfakes have become highly indistinguishable from natural images, making it important to review detection methods.

研究の動機と目的

• 深フェイク技術の進化と、誤情報、同意のないポルノグラフィー、政治的操作といった社会的リスクを分析すること。
• GANの進化に伴い視覚的不具合が消失するようになる中で、画素レベルのアーティファクトに依存する従来の深フェイク検出手法の限界を特定すること。
• 従来の画素ドメイン分析とは異なり、より信頼性の高い代替手段として、生物学的特徴に基づく検出の実現可能性と頑健性を検証すること。
• 眼の瞬き、脈拍率、顔面筋の動きといった生理的および行動的兆候が、深フェイク検出における真正性の不変マーカーとしてどのように機能するかを評価すること。
• メイクやビデオフィルターによって顔の特徴（眉や目の輪郭）を変更するなど、生物学的特徴検出の潜在的脆弱性を評価すること。

提案手法

• 生成対抗ネットワーク（GANs）を用いて、生成器がリアルな偽の動画を生成し、識別器が真正性を検証するように訓練することで、深フェイクを生成する。
• 生物学的特徴抽出技術を適用：眼の瞬き検出にはLRCNモデル、眉の動きにはLightCNNとResNet、耳と口の動きには聴覚的および口腔的分析、脈拍率には光容積脈波計測法（PPG）およびECG信号を用いる。
• フレームレベルおよび動画レベルの分析を実施し、瞬き頻度の不一致や非自然なまぶたの開口度といった、生物学的リズムや動きの異常を検出する。
• 反復的または異常な瞬きパターンが人間の自然な行動から逸脱していることを特定するために、敵対的ネットワーク（GAN）を検出メカニズムとして統合する。
• Celeb-DF、UADFV、Face Forensics++、UBIRIS、CASIAといったベンチマークデータセットを用い、汎用性を確認するためのクロスデータセット評価を実施する。
• 複数の生物学的特徴を統合した統一検出フレームワーク、DeepFakesON-Physを構築することで、検出精度の向上と誤検出の低減を図る。

実験結果

リサーチクエスチョン

• RQ1 眼の瞬き、脈拍率、顔面筋の動きといった生物学的特徴が、本物の動画と偽物の動画を区別するための信頼できる指標として機能するか。
• RQ2 LRCN、ResNet、自己回帰モデルといった異なる分類器は、生物学的信号内の深フェイクアーティファクトを検出する際に、どの程度の性能を示すか。
• RQ3 高度なGANベースの深フェイクは、従来の画素レベル分析からどの程度回避可能であり、生物学的特徴がこの制限を克服できるか。
• RQ4 メイクやフィルターによって顔の特徴（例：眉、目の輪郭）を操作するなど、生物学的特徴を操作する可能性のある攻撃ベクトルは何か。
• RQ5 提案されたDeepFakesON-Physフレームワークは、多様なデータセットにわたる精度と一般化性能の面で、最先端の検出手法と比べてどの程度優れているか。

主な発見

• DeepFakesON-Physは、ベースラインネットワークと組み合わせた場合、Face Forensics++データセットで最先端の手法を25.66%上回る精度を達成した。
• Celeb-DFデータセットでは、LightCNNとResNetを用いた眉の動き特徴を用いて深フェイクを検出する際、等誤差率（EER）が20.7%にまで低下した。
• LRCN法を用いた眼の瞬き検出は、ベンチマークデータセットで優れた性能を示し、異常な瞬きパターンを示す深フェイク動画を効果的に同定した。
• 自己回帰モデルと組み合わせた光容積脈波計測法（PPG）は、Face Forensics++データセットでベースライン手法よりも1.48%の精度向上を達成した。
• 64本の有名人（例：ジョー・バイデン、アングラ・メルケル）のYouTube動画に対して、動的聴覚的および口腔的分析を適用した結果、耳や口の動きにおける微細な不一致を効果的に捉えた。
• 本研究では、重大な脆弱性を特定した：高品質なビデオフィルターおよびメイクは、眉や細かな線を含む顔の特徴を変更でき、生物学的特徴に基づく検出システムで誤検出を引き起こす可能性がある。