[論文レビュー] FakeTagger: Robust Safeguards against DeepFake Dissemination via Provenance Tracking

Run Wang, Felix Juefei-Xu+3 more|arXiv (Cornell University)|Sep 21, 2020

Digital Media Forensic Detection参考文献 66被引用数 9

ひとこと要約

FakeTagger は、DeepFakes の出所追跡を可能にする、深層学習ベースの画像タギングシステムであり、顔画像に人間が感知できないが耐障害性の高いメッセージを埋め込む。軽量なエンコーダ・デコーダアーキテクチャとチャネル符号化を組み合わせることで、4つの主要な DeepFake 形式において、GAN による深刻な改変後でも 95% を超えるメッセージ回復精度を達成し、DeepFakes 広がりに対する能動的防御を提供する。

ABSTRACT

In recent years, DeepFake is becoming a common threat to our society, due to the remarkable progress of generative adversarial networks (GAN) in image synthesis. Unfortunately, existing studies that propose various approaches, in fighting against DeepFake and determining if the facial image is real or fake, is still at an early stage. Obviously, the current DeepFake detection method struggles to catch the rapid progress of GANs, especially in the adversarial scenarios where attackers can evade the detection intentionally, such as adding perturbations to fool the DNN-based detectors. While passive detection simply tells whether the image is fake or real, DeepFake provenance, on the other hand, provides clues for tracking the sources in DeepFake forensics. Thus, the tracked fake images could be blocked immediately by administrators and avoid further spread in social networks. In this paper, we investigate the potentials of image tagging in serving the DeepFake provenance tracking. Specifically, we devise a deep learning-based approach, named FakeTagger, with a simple yet effective encoder and decoder design along with channel coding to embed message to the facial image, which is to recover the embedded message after various drastic GAN-based DeepFake transformation with high confidence. The embedded message could be employed to represent the identity of facial images, which further contributed to DeepFake detection and provenance. Experimental results demonstrate that our proposed approach could recover the embedded message with an average accuracy of more than 95% over the four common types of DeepFakes. Our research finding confirms effective privacy-preserving techniques for protecting personal photos from being DeepFaked.

研究の動機と目的

• 未確認の GAN アーキテクチャに一般化できない受動的 DeepFake 検出手法の限界に対処し、実世界の画像変換に対して性能が低下することを防ぐ。
• 既存の検出技術の脆さを克服し、アーチファクトに基づく検出から、出所追跡を目的とした能動的メッセージ埋め込みへと移行する。
• 顔の入れ替え、再現、属性編集などの深刻な GAN ベースの改変に耐えられる、プライバシーを配慮した耐障害性の高い画像タギングシステムを開発する。
• 画像の圧縮、リサイズ、ノイズなどの攻撃的状況下でも高いメッセージ回復精度を維持しながら、視覚的非可視性を保つ。
• 埋め込まれた出所タグを通じて改変コンテンツの追跡性を可能にすることで、能動的 DeepFake 防御の基盤を構築する。

提案手法

• 視覚的歪みを最小限に抑える軽量なエンコーダ・デコーダニューラルネットワークを設計し、顔画像にメッセージを埋め込む。
• 冗長なメッセージビットを用いたチャネル符号化を統合し、GAN ベースの変換中にエラー耐性を向上させる。
• 顔の入れ替え、顔の再現、属性編集、完全合成の4つの一般的な DeepFake 生成手法にさらされた後でも、メッセージ回復精度を最大化するように、モデルをエンドツーエンドで訓練する。
• SNS共有に一般的な 256×256 ピクセルの固定入力サイズを採用し、実世界への適用可能性を保証する。
• アドバーシャルトレーニングと頑健な最適化を適用し、視覚的非可視性を維持しながら、画像劣化に対する耐性を向上させる。
• 視覚的忠実度と機能的頑健性の両立を図るため、SSIM とメッセージ回復精度を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの画像タギングシステムは、多様で深刻な GAN ベースの DeepFake 改変後でも、顔画像に埋め込んだメッセージを回復可能にできるか？
• RQ2 メッセージ長さと冗長率は、攻撃的 GAN 変換下でのメッセージ回復の頑健性と正確性にどのように影響するか？
• RQ3 提案手法は、複数の DeepFake 生成モデルにわたって、視覚的非可視性を保ちながら高いメッセージ回復精度を維持できるか？
• RQ4 埋め込まれたメッセージは、ソーシャルネットワークにおける改変画像の出所を追跡する信頼できる出所マーカーとして機能できるか？
• RQ5 既存の検出専用アプローチと比較して、圧縮、リサイズ、ノイズなどの実世界の画像劣化下での本システムの性能はいかがなものか？

主な発見

• FakeTagger は、顔の入れ替え、顔の再現、属性編集、完全合成の4つの一般的な DeepFake 形式において、平均して 95% を超えるメッセージ回復精度を達成した。
• 20ビットのメッセージに 750% の冗長性を適用した場合、深刻な GAN ベースの変更後でも 95% を超える回復精度を維持した。
• メッセージサイズを 45 ビットに増加し、冗長率を 333.3% にした場合、回復精度が 90% 未満に低下した。これは、容量と頑健性のトレードオフを示している。
• 30ビットのメッセージに 500% の冗長性を適用した場合、10億を超える一意の UID を表現可能となり、大規模なソーシャルメディアプラットフォームでの一意識別子の割り当てに十分な能力を有する。
• 画像劣化の一般的な要因である圧縮、リサイズ、ガウスノイズに対しても、アブレーションスタディを通じて強い耐性を示した。
• 視覚的品質を効果的に保持しており、テストセットにおける平均 SSIM は 0.948 であり、高い知覚的忠実度を示している。