[論文レビュー] DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect Various AI-Generated Fake Images

Young Oh Bang, Simon S. Woo|arXiv (Cornell University)|Dec 22, 2021

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、事前学習済みCNNバックボーンを用いて、ファインチューニング用Transformer（FTT）、MobileNetV3ブロック（MBblockV3）、チャネル注意メカニズムを統合したDA-FDFtNetを提案する。このモデルは、1,000枚の本物画像と1,000枚の偽物画像のみを用いてファインチューニングすることで、FaceForensics++データセットで97.02%の精度を達成し、ベースラインモデルと比較して最大47%の精度向上を実現した。

ABSTRACT

Due to the advancement of Generative Adversarial Networks (GAN), Autoencoders, and other AI technologies, it has been much easier to create fake images such as "Deepfakes". More recent research has introduced few-shot learning, which uses a small amount of training data to produce fake images and videos more effectively. Therefore, the ease of generating manipulated images and the difficulty of distinguishing those images can cause a serious threat to our society, such as propagating fake information. However, detecting realistic fake images generated by the latest AI technology is challenging due to the reasons mentioned above. In this work, we propose Dual Attention Fake Detection Fine-tuning Network (DA-FDFtNet) to detect the manipulated fake face images from the real face data. Our DA-FDFtNet integrates the pre-trained model with Fine-Tune Transformer, MBblockV3, and a channel attention module to improve the performance and robustness across different types of fake images. In particular, Fine-Tune Transformer consists of multiple numbers of an image-based self-attention module and a down-sampling layer. The channel attention module is also connected with the pre-trained model to capture the fake images feature space. We experiment with our DA-FDFtNet with the FaceForensics++ dataset and various GAN-generated datasets, and we show that our approach outperforms the previous baseline models.

研究の動機と目的

• AI生成偽物画像（特にディープフェイク）の脅威が増大する中、高精細さに起因する検出困難性と限られた学習データの課題に対処するため。
• 限られたラベル付きデータを用いて、多様なGANおよびディープフェイク生成手法に対応する検出性能を向上させるため。
• 注意メカニズムと効率的なアーキテクチャモジュールの統合により、モデルのロバスト性と特徴学習能力を向上させるため。
• 既存の事前学習済みCNNと互換性を持つ、転送可能でデータ効率の良い検出フレームワークを開発するため。
• 提案手法の有効性を、複数の実世界の偽物画像生成技術にわたって検証するため。

提案手法

• ネットワークの初期化に、特徴量が固定された事前学習済みCNNバックボーン（例：Xception、SqueezeNet）を用いる。
• 画像ベースの自己注意機構とダウンサンプリング層を組み合わせたファインチューニング用Transformer（FTT）モジュールを導入し、階層的特徴を抽出する。
• マルチスケールの空間的およびチャネルワイド特徴を効率的に抽出するために、MobileNetV3ブロック（MBblockV3）を採用する。
• 最終層にチャネル注意モジュールを追加し、チャネルごとの特徴重要度を再キャリブレーションすることで、表現学習を向上させる。
• 小規模データセットでの汎化性能向上を目的に、ファインチューニング時にCutoutを適用し、パラメータα=3、β=5（FaceForensics++）およびα=3、β=10（GANデータセット）を設定する。
• 1,000枚の本物画像および1,000枚の偽物画像ごとのデータセットのみを用いてモデルをファインチューニングすることで、低データ検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 1,000枚の本物画像と1,000枚の偽物画像という最小限のデータで、多様なAI生成偽物画像に対して高い検出精度を達成できるか？
• RQ2 ファインチューニング用Transformerとチャネル注意モジュールの統合は、標準的なCNNと比較して検出性能をどのように向上させるか？
• RQ3 提案されたDA-FDFtNetは、複数のGANベースおよびディープフェイク生成手法にわたって効果的に汎化可能か？
• RQ4 チャネル注意モジュールのモデルパフォーマンスへの寄与度は何か？また、ベースラインのFDFtNetと比較してどう異なるか？
• RQ5 ベースラインモデル（例：SqueezeNet）の初期精度が低くても、モデルは高い性能を維持できるか？

主な発見

• Xceptionをバックボーンとして使用した場合、FaceForensics++データセットでDA-FDFtNetは97.02%の精度を達成し、ベースラインモデルを著しく上回った。
• 異なるデータセットおよびバックボーンにおいて、ベースライン精度を最大47%向上させた。特にSqueezeNetを用いたDeepFakesデータセットでは、精度が50.00%から78.83%に上昇した。
• アブレーションスタディの結果、チャネル注意モジュールはベースラインのFDFtNetと比較して平均2.3%の性能向上をもたらした。
• GAN生成データセットでは、元のモデル（SqueezeNet）の初期精度が50.00%であったとしても、DA-FDFtNetはベースライン性能を最大40%向上させた。
• FaceSwap、DeepFakes、Face2Face、NeuralTextures、StarGAN、PGGAN、StyleGAN、StyleGAN2の8種類の異なる偽物画像生成タイプにおいて、モデルは強固な性能を維持した。
• Cutoutデータ拡張（FaceForensics++ではα=3、β=5、GANデータセットではα=3、β=10）を適用することで、小規模なトレーニングセットでも汎化性能が著しく向上した。