[論文レビュー] Detecting Deepfakes Without Seeing Any

Tal Reiss, Bar Cavia+1 more|arXiv (Cornell University)|Nov 2, 2023

Digital Media Forensic Detection被引用数 5

ひとこと要約

この論文は、訓練を要しない深フェイク検出手法FACTORYを紹介する。この手法は、外部の視覚言語エンコーダーを用いて、主張された事実（例：身元、発話、キャプション）と観察されたメディアの整合性を検証することで、ゼロデイ攻撃を検出する。学習データに偽物のデータを一切使用しないにもかかわらず、顔交換と音声・映像統合のベンチマークで、既存の手法を上回る最先端の性能を達成している。

ABSTRACT

Deepfake attacks, malicious manipulation of media containing people, are a serious concern for society. Conventional deepfake detection methods train supervised classifiers to distinguish real media from previously encountered deepfakes. Such techniques can only detect deepfakes similar to those previously seen, but not zero-day (previously unseen) attack types. As current deepfake generation techniques are changing at a breathtaking pace, new attack types are proposed frequently, making this a major issue. Our main observations are that: i) in many effective deepfake attacks, the fake media must be accompanied by false facts i.e. claims about the identity, speech, motion, or appearance of the person. For instance, when impersonating Obama, the attacker explicitly or implicitly claims that the fake media show Obama; ii) current generative techniques cannot perfectly synthesize the false facts claimed by the attacker. We therefore introduce the concept of "fact checking", adapted from fake news detection, for detecting zero-day deepfake attacks. Fact checking verifies that the claimed facts (e.g. identity is Obama), agree with the observed media (e.g. is the face really Obama's?), and thus can differentiate between real and fake media. Consequently, we introduce FACTOR, a practical recipe for deepfake fact checking and demonstrate its power in critical attack settings: face swapping and audio-visual synthesis. Although it is training-free, relies exclusively on off-the-shelf features, is very easy to implement, and does not see any deepfakes, it achieves better than state-of-the-art accuracy.

研究の動機と目的

• 分布シフトによりゼロデイ攻撃に失敗する教師あり深フェイク検出手法の重大な限界を解消すること。
• ラベル付き偽物データやモデル固有の特徴に依存しない汎用的な検出フレームワークを提案すること。
• 深フェイクに含まれる検証可能な誤った事実（例：主張された身元や一致する音声・映像コンテンツ）を検出に活用できることを示すこと。
• 現在の生成モデルが誤った事実を完全にエンコードできないことから、事実の一貫性チェックによって検出が可能になること。
• 顔交換、音声・映像統合、テキストから画像生成の3つの深フェイクシナリオにおいて、本手法の有効性を検証すること。

提案手法

• FACTORYは、主張された事実（例：身元やキャプション）を観察されたメディアと照合することで、深フェイク検出を事実確認タスクとして定式化する。
• CLIP や BLIP2 などの外部視覚言語エンコーダーを用いて、メディアと主張された事実の類似度スコアを計算する。
• コアとなる手法は、BLIP2 と CLIP の2つの類似度スコアの差分としての真実スコアを計算することで、CLIP特徴に過剰適合するのを軽減する。
• 最終スコアは以下の式で定義される：s(x,y) = sim(φ^BLIP2_X(x), φ^BLIP2_Y(y)) - sim(φ^CLIP_X(x), φ^CLIP_Y(y))。非CLIPエンコーダーとの整合性を優遇する。
• 本手法は完全に訓練不要であり、事前学習や微調整に偽物データを一切必要としない。
• 顔交換（身元主張）、音声・映像同期（出来事の一貫性）、テキストから画像生成（プロンプトと画像の整合性）の3つの主要な攻撃タイプに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 主張された情報と観察されたメディアの事実の一貫性が、偽物データに事前に触れることなくゼロデイ深フェイクを検出できるか？
• RQ2 なぜ一部の視覚言語エンコーダー（例：CLIP）は偽物画像に対して誤ったスコアを出力するのに対し、他のエンコーダー（例：BLIP2）はより信頼性が高い検出が可能なのか？
• RQ3 主張された事実の情報量が、深フェイク検出精度にどの程度影響を与えるか？
• RQ4 外部の特徴を用いたシンプルで訓練不要な手法が、未観測の攻撃に対して最先端の教師あり手法を上回るか？
• RQ5 特定のエンコーダー（例：CLIP）に過剰適合するモデルが、事実確認ベースの検出の信頼性に与える影響は？

主な発見

• BLIP2-CLIP差分スコアを用いたテキストから画像生成の深フェイク検出で、ROC-AUCが79.2%に達し、CLIP（30%）やBLIP2（60%）単体よりも顕著に優れている。
• 本手法は、偽物のメディアが視覚的に非常に精巧であっても、主張された事実（例：身元やキャプション）と視覚的コンテンツの不整合を特定することで深フェイクを検出できる。
• CLIPスコアは、Stable Diffusionのようなテキストから画像モデルがCLIP特徴を学習に使用しているため、深フェイクに対して負の相関を示す。
• BLIP2スコアは、本物と偽物の画像の分離がより良好に現れ、非CLIPエンコーダーが合成アーティファクトや事実の不整合に対してより頑健であることを示している。
• 顔交換や音声・映像統合など、未観測の攻撃タイプに対しても、本手法は良好な一般化性能を示し、教師ありベースラインを上回っている。
• 主張された事実の情報量が高くなるほど検出性能が向上し、検証可能で高精度な主張が、効果的な事実確認に不可欠であることが確認された。