[論文レビュー] Multi-attentional Deepfake Detection

Hanqing Zhao, Wenbo Zhou+4 more|arXiv (Cornell University)|Mar 3, 2021

Digital Media Forensic Detection参考文献 46被引用数 15

ひとこと要約

本稿では、微細な局所的アーティファクトを捉えるために、深層偽造検出を微分類タスクに再定式化するマルチアテンション型深層偽造検出フレームワークを提案する。複数の空間的アテンションヘッド、テクスチャ強化型浅層特徴、およびアテンションガイドド特徴集約を採用することで、FF++(HQ)、Celeb-DF、DFDCデータセットにおいて最先端の性能を達成した。地域独立損失とソフトアテンションガイドドデータ拡張により、バニラ型二値分類器を凌駕する性能を発揮した。

ABSTRACT

Face forgery by deepfake is widely spread over the internet and has raised severe societal concerns. Recently, how to detect such forgery contents has become a hot research topic and many deepfake detection methods have been proposed. Most of them model deepfake detection as a vanilla binary classification problem, i.e, first use a backbone network to extract a global feature and then feed it into a binary classifier (real/fake). But since the difference between the real and fake images in this task is often subtle and local, we argue this vanilla solution is not optimal. In this paper, we instead formulate deepfake detection as a fine-grained classification problem and propose a new multi-attentional deepfake detection network. Specifically, it consists of three key components: 1) multiple spatial attention heads to make the network attend to different local parts; 2) textural feature enhancement block to zoom in the subtle artifacts in shallow features; 3) aggregate the low-level textural feature and high-level semantic features guided by the attention maps. Moreover, to address the learning difficulty of this network, we further introduce a new regional independence loss and an attention guided data augmentation strategy. Through extensive experiments on different datasets, we demonstrate the superiority of our method over the vanilla binary classifier counterparts, and achieve state-of-the-art performance.

研究の動機と目的

• 微細で局所的な深層偽造アーティファクトを検出する際の、バニラ型二値分類の限界を解消すること。
• 深層偽造検出を微分類問題に再定式化し、より良い局所的特徴の判別を可能にすること。
• 顔画像内の複数の異なる判別的領域に注目できるマルチアテンション機構を設計すること。
• アテンションコラプスを防ぎ、一般化性能を向上させるために、地域独立損失とアテンションガイドドデータ拡張を導入すること。
• 複数のベンチマークデータセットで最先端の検出性能を達成すること。

提案手法

• 複数の空間的アテンションヘッドを用いて、入力顔画像の異なる局所的領域に注目する別々のアテンションマップを生成する。
• 浅層畳み込み特徴に含まれる微細なアーティファクトを保持・強調するためのテクスチャ特徴強化ブロックを導入する。
• アテンションマップを動的重みとして用いて、低レベルのテクスチャ特徴と高レベルの意味的特徴を統合する。
• 各アテンション領域からの特徴を独立にプーリングするためのバイリニアアテンションプールレイヤーを適用し、最終分類のための特徴を連結する。
• アテンションヘッド間の応答の重なりを最小化することで、アテンションヘッドの多様性を促進する地域独立損失を設計する。
• トレーニング中に高応答のアテンション領域をソフトブラー処理することで、ネットワークが代替領域から学習するよう促す、アテンションガイドドデータ拡張（AGDA）戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 微分類タスクに再定式化することで、局所的で微細なアーティファクトに注目することにより、検出性能が向上するか？
• RQ2 複数のアテンションヘッドを効果的に訓練し、同じ主要領域に集中するのではなく、異なる判別的領域に注目させることは可能か？
• RQ3 アテンションマップの分離を促進し、耐性を高めるために、最も効果的な損失関数とデータ拡張戦略は何か？
• RQ4 浅層のテクスチャ特徴を強化することで、深層ネットワーク層で消失する微細な偽造アーティファクトを保持できるか？
• RQ5 提案手法は、実世界の深層偽造データセットにおいて、標準の二値分類ベースラインをどの程度上回るか？

主な発見

• 提案手法は、FF++(HQ)データセットで97.60%の正確度、Celeb-DFで67.44%のAUCを達成し、すべてのベースラインモデルを上回った。
• アブレーションスタディの結果、4つのアテンションヘッド（M=4）を用いることで最良の性能が得られ、受容fieldの多様性と計算コストの最適なバランスが実現された。
• 地域独立損失を導入しないと、アテンションヘッドがすべて同じ領域に集中してしまうことが、図4の可視化で示された。これは、この正則化の必要性を裏付けている。
• 地域独立損失とソフトアテンションガイドドデータ拡張（AGDA）の組み合わせが、最高の性能（97.60% ACC、67.44% AUC）を発揮した。表6に示されている。
• 可視化結果から、RILとソフトAGDAを両方使用した場合にのみ（図6）、異なる領域に分布する判別的特徴にアテンションマップが適切に反応することが確認された。
• AGDAとRILを備えたモデルは、Celeb-DFで67.44%のAUCを達成し、これらのコンponentsを含まないベースラインより2.61%高い性能を示した。