[論文レビュー] Building an Invisible Shield for Your Portrait against Deepfakes

Jiazhi Guan, Tianshu Hu+6 more|arXiv (Cornell University)|May 22, 2023

Digital Media Forensic Detection被引用数 4

ひとこと要約

本稿では、顔貌特徴に基づく条件付きインジェクションを用いて、顔貌に深フェイクに脆弱でノイズに強いメッセージを埋め込む、予防的防御フレームワーク「Integrity Encryptor」を提案する。メッセージは深フェイク改ざん下では劣化するが、元画像からは回復可能であるため、多様な偽造に対して優れたブラックボックス検出性能（91.50% ACC、97.81% AUC）を達成し、最先端の受動的検出器を上回る。

ABSTRACT

The issue of detecting deepfakes has garnered significant attention in the research community, with the goal of identifying facial manipulations for abuse prevention. Although recent studies have focused on developing generalized models that can detect various types of deepfakes, their performance is not always be reliable and stable, which poses limitations in real-world applications. Instead of learning a forgery detector, in this paper, we propose a novel framework - Integrity Encryptor, aiming to protect portraits in a proactive strategy. Our methodology involves covertly encoding messages that are closely associated with key facial attributes into authentic images prior to their public release. Unlike authentic images, where the hidden messages can be extracted with precision, manipulating the facial attributes through deepfake techniques can disrupt the decoding process. Consequently, the modified facial attributes serve as a mean of detecting manipulated images through a comparison of the decoded messages. Our encryption approach is characterized by its brevity and efficiency, and the resulting method exhibits a good robustness against typical image processing traces, such as image degradation and noise. When compared to baselines that struggle to detect deepfakes in a black-box setting, our method utilizing conditional encryption showcases superior performance when presented with a range of different types of forgeries. In experiments conducted on our protected data, our approach outperforms existing state-of-the-art methods by a significant margin.

研究の動機と目的

• 受動的深フェイク検出器の限界、すなわち未確認の改ざんに一般化できないこと、および検出可能な偽造痕跡に依存していることに対処する。
• 公開前に顔貌を保護する予防的防御戦略を開発し、深フェイク改ざんの検出可能性を保証する。
• 実世界の画像処理シナリオにおいて、共通の画像摂動に対して耐性を示すノイズ耐性と、改ざん時にメッセージが破壊される深フェイク感受性を、1つのフレームワークで両立する。
• 多様な深フェイク生成器に対して感受性を確保できない既存のウォーターマーキング手法の欠陥を克服する。

提案手法

• 秘密のメッセージ（例：ユーザー名のハッシュ）を、微分可能ノイズモジュールと敵対的訓練を用いて、顔貌に埋め込むことでノイズ耐性を確保する。
• 顔貌特徴の埋め込みを「条件付きトークン」として用い、正しい復号には元の顔貌特徴が必要となるように、メッセージを条件付きでインジェクションする。
• 異なるアイデンティティからのメッセージと条件付きマップのネガティブペアを用いて、深フェイク感受性損失を導入し、特徴が変更された際に再構築が不可能になるようにする。
• 条件付きインジェクション設計により、顔貌特徴が改ざんされた場合、メッセージ抽出に失敗し、復号不一致による検出が可能になる。
• 訓練中に偽物のサンプルにアクセスしないブラックボックス設定で動作し、メッセージと元の特徴の間の条件付き依存性に依存する。
• フレームワークはホワイトボックスおよびブラックボックスプロトコルの両方で評価され、さまざまな画像歪みや深フェイクタイプにおいて一貫した性能を示した。

Figure 1 : Workflow of the proposed Integrity Encryptor. 1) Protection : we embed a secret message (e.g., the hash code of the user name) into the target video that we want to protect. 2) Publish : we publish the protected video. 3) Manipulation : the video may be manipulated by bad actors. 4) Verif

実験結果

リサーチクエスチョン

• RQ1 検出可能な偽造痕跡や事前学習済み分類器に依存せずに、深フェイクを検出できる予防的防御システムを設計可能か？
• RQ2 実世界の画像処理シナリオにおいて、ウォーターマーキング方式がノイズ耐性と深フェイク感受性を同時に達成できるか？
• RQ3 顔貌特徴に基づく条件付きメッセージインジェクションは、多様な深フェイク生成器に対して検出耐性をどの程度向上させるか？
• RQ4 訓練中に偽物のサンプルにアクセスしない状況でも、ブラックボックス設定で効果的な検出が可能か？
• RQ5 ノイズモジュールや条件付き損失といった個々のコンponentsが、システム全体の耐性と感受性にどの程度寄与しているか？

主な発見

• 提案されたIntegrity Encryptorは、5種類の深フェイクに対してブラックボックス検出で91.50%の精度と97.81%のAUCを達成し、受動的検出器を顕著に上回った。
• アブレーションスタディにより、ノイズ耐性のコンponents（ノイズモジュールまたは敵対的訓練）を削除すると性能が低下し、摂動下でBERが0.1225から0.2097に上昇した。
• 最適な重み（λf = 1.0）を用いた深フェイク感受性損失（式6）は、平均90.48%の精度と97.18%のAUCを達成し、強力な検出能力を示した。
• 条件付きインジェクションを削除するとブラックボックス性能は64.79%の精度と70.45%のAUCに低下し、検出を可能にする上でその重要性が証明された。
• 元の顔貌特徴への条件付き依存性のおかげで、ブラックボックス設定でもホワイトボックス結果と同等の一貫性ある性能を維持した。
• 圧縮、ぼかし、ガウスノイズ、ランダムドロップといった一般的な画像歪みに対しても、BERが全レベルで0.12未満を維持し、高い耐性を示した。

Figure 2 : Overview of the proposed Integrity Encryptor. 1) Condition Generation : using pretrained encoders (I/A/M -Encoder), we extract Facial Token of the input, which contains the original facial attributes, and then generate the Condition Map based on it. 2) Message Duplication : we spatially r