[論文レビュー] Practical Deepfake Detection: Vulnerabilities in Global Contexts

Yang A. Chuming, Daniel J. Wu+1 more|arXiv (Cornell University)|Jun 20, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、低帯域幅環境で見られる現実の映像品質劣化を模擬するための動画劣化パイプラインを提案し、最先端のディープフェイク検出モデルが劣化した動画に対しては、元の動画が真正物であっても失敗することを示している。主な発見は、CRF50またはデイタモーシングを適用した後、モデルが真正の動画をフェイクと自信を持って分類してしまうことであり、グローバル展開の文脈において深刻な脆弱性を露呈している。

ABSTRACT

Recent advances in deep learning have enabled realistic digital alterations to videos, known as deepfakes. This technology raises important societal concerns regarding disinformation and authenticity, galvanizing the development of numerous deepfake detection algorithms. At the same time, there are significant differences between training data and in-the-wild video data, which may undermine their practical efficacy. We simulate data corruption techniques and examine the performance of a state-of-the-art deepfake detection algorithm on corrupted variants of the FaceForensics++ dataset. While deepfake detection models are robust against video corruptions that align with training-time augmentations, we find that they remain vulnerable to video corruptions that simulate decreases in video quality. Indeed, in the controversial case of the video of Gabonese President Bongo's new year address, the algorithm, which confidently authenticates the original video, judges highly corrupted variants of the video to be fake. Our work opens up both technical and ethical avenues of exploration into practical deepfake detection in global contexts.

研究の動機と目的

• 低帯域幅地域で一般的に見られる現実の映像品質劣化の下での、ディープフェイク検出モデルの実用的ロバスト性を調査すること。
• ビットレート低下、解像度の低減、CRF調整、デイタモーシングなどの映像劣化を模擬することで、現実の映像品質損失を再現すること。
• FaceForensics++データセットの劣化版に対して、最先端のディープフェイク検出モデルの性能を評価すること。
• 技術的インfraが整わず、デジタルリテラシーが低い地域におけるモデル失敗の倫理的リスクを検討すること。
• ガボン大統領の演説動画を事例として、実世界の真正動画が劣化処理を受けることでフェイクと誤検出される様子を提示すること。

提案手法

• ビットレート低下（1.0 Mbps および 0.5 Mbps）、解像度の低減（720p、480p、240p）、一定レート因子（CRF）調整（30、40、50）、デイタモーシングの5つの異なる映像劣化技術を適用する動画劣化パイプラインを開発した。
• これらの劣化処理を、FaceForensics++データセットに含まれる真正およびフェイク動画の両方に対して、独立的および複合的に適用した。
• 2020年Kaggleディープフェイク検出チャレンジで最良の性能を示したモデル（7つのEfficientNet-B7ネットワークのアンサンブル）を用い、別のデータセットで学習させたことで、ドメイン外評価を実現した。
• 劣化した動画における分類精度を測定し、フェイクと正しく識別されたフェイク動画の割合を評価することで、モデルの性能を評価した。
• 特にCRF50およびデイタモーシングの影響を分離するためのアブレーションスタディを実施した。
• ガボン大統領の演説動画を事例として、同様の劣化処理を施し、実世界の真正動画におけるモデルの挙動を評価した。

実験結果

リサーチクエスチョン

• RQ1 低ビットレート、低解像度、高CRF、デイタモーシングといった一般的な映像品質劣化は、最先端のディープフェイク検出モデルの性能にどのように影響するか？
• RQ2 トレーニング時のデータオーグメンテーションとは一致しない映像劣化は、モデルの信頼性をどの程度損なうか？
• RQ3 現実の劣化処理を施した真正動画が、ディープフェイク検出モデルによってフェイクと誤検出される可能性はあるか？
• RQ4 インターネットインフラが整わず、デジタルリテラシーが低い地域におけるモデル失敗の社会的・政治的リスクは何か？
• RQ5 デイタモーシングや高CRFといった非自然な劣化処理は、モデルの信頼度と人間の認識による真正性の類似度にどのように影響するか？

主な発見

• FaceForensics++の劣化なしフェイク動画に対して、ディープフェイク検出モデルは95.5%の精度を達成しており、強固なベースライン性能を確認した。
• 240pへの低減とCRF50の適用後、フェイク動画におけるモデルの精度は58.6%に低下し、品質劣化下での著しい失敗を示した。
• デイタモーシングを併用した場合、劣化フェイク動画におけるモデルの精度は69.0%に低下し、複合的な劣化処理がモデルの脆弱性を顕著にした。
• 元々98.8%の信頼度で真正と分類されたガボン大統領の演説動画は、240p + CRF50の劣化処理後、56.5%の信頼度でフェイクと誤検出された。
• 高CRFおよびデイタモーシングによる劣化処理を受けても、人間の認識では意味的に識別可能な動画であったが、モデルの真正動画に対する信頼度は著しく低下した。
• 標準的なデータオーグメンテーションに類似しないCRF50やデイタモーシングといった劣化処理が、最も深刻な性能低下を引き起こし、モデルのロバストネスにおける重要なギャップを示唆した。