[論文レビュー] Countering Malicious DeepFakes: Survey, Battleground, and Horizon

Felix Juefei-Xu, Run Wang+4 more|arXiv (Cornell University)|Feb 27, 2021

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、DeepFake生成、検出、回避に関する包括的サーベイを提供し、生成者と検出者間の敵対的『戦場』を分析する。318篇以上の研究論文を統合し、手法の分類体系、インタラクティブな可視化、自己教師あり学習とビジョントランスフォーマーに起因する今後の傾向に関する洞察を提供する。

ABSTRACT

The creation or manipulation of facial appearance through deep generative approaches, known as DeepFake, have achieved significant progress and promoted a wide range of benign and malicious applications, e.g., visual effect assistance in movie and misinformation generation by faking famous persons. The evil side of this new technique poses another popular study, i.e., DeepFake detection aiming to identify the fake faces from the real ones. With the rapid development of the DeepFake-related studies in the community, both sides have formed the relationship of battleground, pushing the improvements of each other and inspiring new directions, e.g., the evasion of DeepFake detection. Nevertheless, the overview of such battleground and the new direction is unclear and neglected by recent surveys due to the rapid increase of related publications, limiting the in-depth understanding of the tendency and future works. To fill this gap, in this paper, we provide a comprehensive overview and detailed analysis of the research work on the topic of DeepFake generation, DeepFake detection as well as evasion of DeepFake detection, with more than 318 research papers carefully surveyed. We present the taxonomy of various DeepFake generation methods and the categorization of various DeepFake detection methods, and more importantly, we showcase the battleground between the two parties with detailed interactions between the adversaries (DeepFake generation) and the defenders (DeepFake detection). The battleground allows fresh perspective into the latest landscape of the DeepFake research and can provide valuable analysis towards the research challenges and opportunities as well as research trends and future directions. We also elaborately design interactive diagrams (http://www.xujuefei.com/dfsurvey) to allow researchers to explore their own interests on popular DeepFake generators or detectors.

研究の動機と目的

• DeepFake研究、特に生成、検出、回避技術を包括的かつ最新の視点から概説すること。
• DeepFake生成者と検出者間の進化する敵対的関係をマップし、それらの間の動的な『戦場』を強調すること。
• 急速な生成AI分野の進展を踏まえて、分野における主な研究課題、機会、および新たなトレンドを特定すること。
• 専用のウェブサイトを通じて、人気のある生成者と検出者の可視化を提供する、キュレートされたインタラクティブリソースを研究者・実務家に提供すること。
• DeepFake研究の今後の方向性を検討し、自己教師あり学習とビジョントランスフォーマーが次世代モデルをどのように形作るかを明らかにすること。

提案手法

• DeepFake生成、検出、回避に関する318篇以上の研究論文を系統的にサーベイする。
• DeepFake生成手法を4つのカテゴリーに分類する：全体顔合成、属性操作、アイデンティティ交換、表情交換。
• 技術的アプローチに基づいてDeepFake検出手法を分類する：ハンドクラフト特徴量、ディープラーニング、ハイブリッドモデル。
• 生成者と検出者間の敵対的ダイナミクスを分析し、片方の進化がもう片方のイノベーションを促す仕組みを示す。
• 人気のあるDeepFake生成者と検出者を可視化・探索可能なインタラクティブなウェブプラットフォーム（http://www.xujuefei.com/dfsurvey）を導入する。
• 自己教師あり学習とビジョントランスフォーマーの統合、GANのファングプリント、見えないウォーターマーク技術といった、新たなトレンドを検討する。

実験結果

リサーチクエスチョン

• RQ1 DeepFake生成手法の主なカテゴリーと技術的進化経路は何か？
• RQ2 DeepFake検出技術はどのように進化してきたのか？現在の研究で支配的であるアプローチは何か？
• RQ3 DeepFake生成者と検出者間の主な敵対的相互作用は何か？それらは研究のあり方をどのように形作っているか？
• RQ4 自己教師あり学習とビジョントランスフォーマーの観点から、DeepFake検出における新たなトレンドと今後の研究方向性は何か？
• RQ5 ウォーターマーク技術やモデルファングプリントといった、責任あるAIの実践は、DeepFake緩和戦略にどのように統合できるか？

主な発見

• DeepFake生成者と検出者間の敵対的関係は、常に革新を生み出す動的な『戦場』を形成している。
• 検出者が最も標的にするDeepFakeモダリティはアイデンティティ交換であり、次に全体顔合成が続く。表情交換は最も標的とされていない。
• 自己教師あり学習とビジョントランスフォーマー（ViT）は、今後のDeepFake生成・検出システムを再定義する可能性を秘めた画期的な技術として浮上している。
• ViT、TransGAN、Paint Transformerといったビジョントランスフォーマーは、最先端の画像生成能力を示しており、DeepFakeエコシステムにおけるViTベースアーキテクチャへのシフトが予想される。
• GANファングプリントや見えないウォーターマーク技術は、合成メディアの責任ある公開と追跡可能性を実現する有望な道筋を提供している。
• 本論文は、合成顔が本物の顔と区別できなくなる可能性のある「DeepFakeの特異点」の到来を予測し、前もっての研究と緩和戦略の重要性を強調している。