[論文レビュー] FaceGuard: Proactive Deepfake Detection

Yuankun Yang, Chenyue Liang+3 more|arXiv (Cornell University)|Sep 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 13

ひとこと要約

FaceGuardは、深層学習に基づく水 Stam 付け手法を用いて、公開前に本物の顔画像に耐性があり、壊れやすい水 Stam を埋め込む、能動的ディープフェイク検出フレームワークである。偽物の顔を、抽出時の水 Stam 完全性の検証によって検出する。FaceForensics++ で99.5%の正確性を達成し、後処理およびディープフェイク操作に対して、受動的検出器および先行の水 Stam 付け手法を上回る性能を発揮する。

ABSTRACT

Existing deepfake-detection methods focus on passive detection, i.e., they detect fake face images via exploiting the artifacts produced during deepfake manipulation. A key limitation of passive detection is that it cannot detect fake faces that are generated by new deepfake generation methods. In this work, we propose FaceGuard, a proactive deepfake-detection framework. FaceGuard embeds a watermark into a real face image before it is published on social media. Given a face image that claims to be an individual (e.g., Nicolas Cage), FaceGuard extracts a watermark from it and predicts the face image to be fake if the extracted watermark does not match well with the individual's ground truth one. A key component of FaceGuard is a new deep-learning-based watermarking method, which is 1) robust to normal image post-processing such as JPEG compression, Gaussian blurring, cropping, and resizing, but 2) fragile to deepfake manipulation. Our evaluation on multiple datasets shows that FaceGuard can detect deepfakes accurately and outperforms existing methods.

研究の動機と目的

• 未確認のディープフェイク生成手法に対して失敗する受動的ディープフェイク検出の重大な限界を解消すること。
• 公開前に本物の顔画像に水 Stam を埋め込む能動的検出フレームワークを開発すること。
• 一般的な後処理（例：JPEG圧縮、リサイズ）に対して耐性があり、同時にディープフェイク操作に対して壊れやすい水 Stam を保証すること。
• 微分可能JPEG近似と強化学習に基づく後処理スケジューリングを統合したエンコーダ・デコーダ水 Stam 付けの共同学習フレームワークを設計すること。
• 同じアーキテクチャと学習データを用いて水 Stam 付けプロセスを逆設計する可能性がある適応的攻撃者に対する耐性を確保すること。

提案手法

• ニューラルエンコーダが本物の顔画像にバイナリ水 Stam を埋め込み、視認できない水 Stam 付き出力を生成する深層学習ベースの水 Stam 付けシステムを提案する。
• 与えられた顔画像から水 Stam を抽出し、正例と照合して真正性を検証するためのニューラルデコーダを設計する。
• 画像品質と水 Stam の正確性を両立させるために、水 Stam 再構築損失、ピクセルレベルの知覚損失、敵対的損失を組み合わせたマルチコンポonent損失関数を定式化する。
• 非微分可能な操作であるJPEG圧縮を微分可能近似で置き換えることで、エンド・ツー・エンドの学習中に勾配逆伝播を可能にする。
• 強化学習に基づくスケジューラーを実装し、学習中に動的に後処理操作（例：JPEG、ぼかし、クロッピング）を適用することで、現実世界の歪みを模擬する。
• 確率的勾配降下法を用いてエンコーダとデコーダを共同で学習し、後処理モジュールをそれらの間に適用して、現実的な画像変換をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 未確認のディープフェイク手法によって生成されたフェイクを、受動的検出よりも信頼性高く検出できるのか？
• RQ2 本手法の水 Stam 付けが、JPEG圧縮やリサイズなどの一般的な画像後処理操作に対しても完全性を保っているか？
• RQ3 SSIMで測定した場合、水 Stam 付けが知覚的画像品質にどの程度劣化をもたらすのか？
• RQ4 攻撃者が同じアーキテクチャとデータを用いて水 Stam 付けプロセスを逆設計する適応的攻撃者に対して、システムはどの程度耐性を示すのか？
• RQ5 微分可能JPEG近似と強化学習ベースのスケジューリングの統合が、水 Stam 付けの耐性と検出正確性を顕著に向上させるのか？

主な発見

• FaceGuardはFaceForensics++データセットで99.5%の正確性を達成し、受動的検出器および先行の水 Stam 付け手法（例：ConvWM, HiDDeN）を顕著に上回る性能を示した。
• DFDCデータセットでは97.7%の正確性を達成し、偽陽性率（FPR）は1.5%、偽陰性率（FNR）は1.0%にとどまり、優れた一般化性能を示した。
• 本物と水 Stam 付き顔画像間の平均SSIMは、FaceForensics++およびDFDCで0.94、Trump-Cageでは0.86であり、知覚的歪みは最小限に抑えられている。
• 微分可能JPEG近似を用いないFaceGuardでは正確性が91.2%にとどまり、この近似がJPEG圧縮に対する耐性を高めるために学習段階で不可欠であることが示された。
• 強化学習スケジューラーを排除したFaceGuardでは98.2%の正確性を達成したが、これはRLスケジューラーが現実の後処理をよりよくシミュレートすることで、性能をさらに向上させていることを示している。
• 攻撃者が同じアーキテクチャとデータを用いて水 Stam 付けプロセスを逆設計する適応的フェイクに対して、FaceGuardは高い正確性（Trump-Cageでは97.6%）を維持した。