[論文レビュー] Identifying Invariant Texture Violation for Robust Deepfake Detection

Xinwei Sun, Botong Wu+1 more|arXiv (Cornell University)|Dec 19, 2020

Digital Media Forensic Detection参考文献 35被引用数 9

ひとこと要約

本論文は、顔入れ替えによって引き起こされる顔面の微細なテクスチャの不一致（不変テクスチャ違反）を、高精細度のフェイク映像を検出する普遍的シグナルとして特定する、耐障害性のある深層フェイク検出フレームワークであるInTeLeを提案する。不変のテクスチャ違反を分離することで、本フレームワークは、アーティファクトの影響を排除した内在的テクスチャ違反を抽出し、Celeb-DFで73.8%のAUC、FaceForensics++で86.4%の精度を達成し、最先端の性能を実現した。

ABSTRACT

Existing deepfake detection methods have reported promising in-distribution results, by accessing published large-scale dataset. However, due to the non-smooth synthesis method, the fake samples in this dataset may expose obvious artifacts (e.g., stark visual contrast, non-smooth boundary), which were heavily relied on by most of the frame-level detection methods above. As these artifacts do not come up in real media forgeries, the above methods can suffer from a large degradation when applied to fake images that close to reality. To improve the robustness for high-realism fake data, we propose the Invariant Texture Learning (InTeLe) framework, which only accesses the published dataset with low visual quality. Our method is based on the prior that the microscopic facial texture of the source face is inevitably violated by the texture transferred from the target person, which can hence be regarded as the invariant characterization shared among all fake images. To learn such an invariance for deepfake detection, our InTeLe introduces an auto-encoder framework with different decoders for pristine and fake images, which are further appended with a shallow classifier in order to separate out the obvious artifact-effect. Equipped with such a separation, the extracted embedding by encoder can capture the texture violation in fake images, followed by the classifier for the final pristine/fake prediction. As a theoretical guarantee, we prove the identifiability of such an invariance texture violation, i.e., to be precisely inferred from observational data. The effectiveness and utility of our method are demonstrated by promising generalization ability from low-quality images with obvious artifacts to fake images with high realism.

研究の動機と目的

• 顔入れ替えによるアーティファクトが目立たない高精細度のフェイクに対して、アーティファクト依存のフェイク検出器の一般化失敗を是正すること。
• あらゆる合成品質の顔入れ替え画像に共通して存在する、普遍的で不変のテクスチャ違反シグナルを同定すること。
• この不変のテクスチャ違反を、誤ったアーティファクトの影響から分離する検出フレームワークを開発し、現実的で高精細度のフェイクに対して耐性を高めること。
• 観測データからテクスチャ違反が同定可能であることを理論的に裏付けることにより、信頼性の高い検出を保証すること。
• 低品質の学習データから高精細度のテストデータ（実世界のフェイクを含む）への優れた一般化性能を示すこと。

提案手法

• 本質的画像とフェイク画像の両方の再構成を可能にする2つの異なるデコーダを備えた自動エンコーダフレームワークを提案し、アーティファクトの影響を分離する。
• フェイク画像用のデコーダに浅いセマンティック分類器（$f_{\mathrm{SC}}$）を用いたラベル依存型デコーダ構造を導入し、アーティファクト関連のパターンを分離する。
• 潜在空間におけるセマンティックの一貫性を保証するため、トリプレット損失を用いる。これにより、エンコーダはアーティファクトに依存しない不変のテクスチャ特徴を捉える。
• エンコーダが本質的テクスチャ違反シグナルを抽出できるように、本質的およびフェイクの両ブランチにおける再構成誤差を最小化するように、分離された学習目的を採用する。
• 再構成損失、トリプレット損失、分類器損失を統合したマルチ損失最適化を用い、エンコーダとデコーダを同時に学習する。
• 最終的な分類器は、潜在表現$Z$上に構築され、ここにはアーティファクトの影響が除去されているため、耐障害性の高い検出が可能になる。

実験結果

リサーチクエスチョン

• RQ1 顔入れ替えによって生じる不変のテクスチャ違反は、フェイク検出の普遍的シグナルとして信頼性高く同定可能か？
• RQ2 分離された自動エンコーダフレームワークは、フェイク画像におけるアーティファクト由来のパターンと、内在的テクスチャ違反を効果的に分離できるか？
• RQ3 テクスチャ違反を分離することで、目に見えないアーティファクトを伴う高精細度フェイクに対する一般化性能が向上するか？
• RQ4 現実的な仮定のもとで、観測データから不変のテクスチャ違反シグナルが同定可能か？
• RQ5 提案手法は、高精細度のテストセットを含むベンチマークにおいて、アーティファクト依存のベースラインを上回る性能を示せるか？

主な発見

• InTeLeは、Celeb-DFベンチマークで73.8% ± 1.1のAUCを達成し、EfficientNet-B5およびXceptionNetバックボーンの両方において、LGSCやCE (X→Y) を含むすべてのベースラインを上回った。
• FaceForensics++ベンチマークでは、86.4%の精度を達成し、以前の最先端手法であるLGSC（84.8%）およびコードが公開された他のすべての手法を上回った。
• アブレーションスタディの結果、セマンティック分類器$f_{\mathrm{SC}}$を削除すると性能が低下することが確認され、これがアーティファクト分離における役割を裏付けた。
• 図5の可視化結果から、$f_1$デコーダ（フェイクブランチ）は本質的画像に対してもアーティファクト（例：色のずれ、コントラストの不一致）を再構成している一方、$f_0$（本質的ブランチ）ではそのような再構成が見られないことが確認された。
• 低品質の学習データ（FaceForensics++）から高精細度のテストデータ（Celeb-DF）への一般化が効果的に実現されており、合成品質の変動に対しても耐性があることが示された。
• 理論的同定可能性の証明により、観測データから不変のテクスチャ違反シグナルを正確に推定可能であることが保証され、本手法の信頼性を裏付けた。