[論文レビュー] T-GD: Transferable GAN-generated Images Detection Framework

Hyeonseong Jeon, Young Oh Bang+2 more|arXiv (Cornell University)|Aug 10, 2020

Digital Media Forensic Detection被引用数 6

ひとこと要約

T-GD は、教師-生徒 distillation を用いた自己学習フレームワークを提案し、GAN 生成画像検出における転移性を向上させる。$L^2$-スタートポイント正則化とクラス内 Cutmix 増強を適用。GAN のメタデータや大量のデータに依存せずに、元のデータセットおよびターゲットデータセットの両方で最先端の性能を達成。PGGAN では AUROC を 2.40% 向上、StarGAN では 10.04% 向上。

ABSTRACT

Recent advancements in Generative Adversarial Networks (GANs) enable the generation of highly realistic images, raising concerns about their misuse for malicious purposes. Detecting these GAN-generated images (GAN-images) becomes increasingly challenging due to the significant reduction of underlying artifacts and specific patterns. The absence of such traces can hinder detection algorithms from identifying GAN-images and transferring knowledge to identify other types of GAN-images as well. In this work, we present the Transferable GAN-images Detection framework T-GD, a robust transferable framework for an effective detection of GAN-images. T-GD is composed of a teacher and a student model that can iteratively teach and evaluate each other to improve the detection performance. First, we train the teacher model on the source dataset and use it as a starting point for learning the target dataset. To train the student model, we inject noise by mixing up the source and target datasets, while constraining the weight variation to preserve the starting point. Our approach is a self-training method, but distinguishes itself from prior approaches by focusing on improving the transferability of GAN-image detection. T-GD achieves high performance on the source dataset by overcoming catastrophic forgetting and effectively detecting state-of-the-art GAN-images with only a small volume of data without any metadata information.

研究の動機と目的

• 未学習の GAN アーキテクチャに適用された GAN 画像検出モデルにおける低い転移性の課題に対処すること。
• 転移学習中に知識を保持することで、災難的忘却を回避すること。
• メタデータやアーティファクトを用いず、低データ環境および未学習の GAN モデルでも検出性能を向上させること。
• 教師-生徒相互作用に基づき、正則化強度を動的に制御する自己学習フレームワークの開発。
• StyleGAN、PGGAN、StarGAN などの多様な GAN モデルにおいて、堅牢性と一般化性能を示すこと。

提案手法

• 教師モデル（元のデータセットで事前学習済み）がターゲットデータセット学習中に生徒モデルをガイドする教師-生徒 distillation フレームワークを採用。
• 生徒モデルの重み更新を制約するため、$L^2$-スタートポイント（SPAR）正則化を適用し、元のデータセットからの知識を保持。
• クラス内 Cutmix を導入——同じクラス（実画像または GAN 生成画像）のパッチを混合するデータ増強技術で、二値分類における学習安定性を向上。
• ガウスノイズと JPEG 圧縮を追加の増強手法として適用し、耐性向上と過学習抑制を図る。
• 最適化安定性を向上させるために、重み標準化（WS）、グループ正則化（GN）、低学習率・モーメンタム率を統合。
• 自己学習により生徒モデルを繰り返し精錬し、教師モデルが性能フィードバックに基づき正則化強度を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 教師-生徒 distillation を用いた自己学習フレームワークは、多様な GAN アーキテクチャ間で GAN 画像検出の転移性を向上させることができるか？
• RQ2 クラス内 Cutmix は、二値 GAN 画像検出の学習安定性を高める観点で、標準的なクラス間 Cutmix より優れているか？
• RQ3 $L^2$-SP 正則化を用いることで、メタデータなしに災難的忘却をどれほど防止できるか？
• RQ4 JPEG、ぼかし、Cutmix といった複数の増強手法を組み合わせることで、低データのターゲットデータセットにおける過学習を軽減し、一般化性能を向上させられるか？
• RQ5 少量のターゲットデータと GAN 特有のメタデータなしに、転移学習性能を顕著に向上させられるか？

主な発見

• 自己学習を適用した場合、PGGAN ターゲットデータセットでは AUROC が 92.54% から 94.94% に 2.40% 向上。
• StarGAN 元データセットでは、データ増強により AUROC が 85.04% から 95.08% に上昇し、過学習の効果的抑制が示された。
• クラス内 Cutmix は、標準 Cutmix よりも元データセット（StarGAN）およびターゲットデータセット（PGGAN）の両方で検出性能を向上させ、検証損失も低減。
• PGGAN で事前学習した場合、元データセット（StarGAN）で 99.15%、ターゲットデータセット（StyleGAN2）で 99.38% の AUROC を達成し、優れた転移性を示した。
• T-GD は、いかなる GAN モデルのメタデータも使用せず、元データセットおよびターゲットデータセットの両方で既存手法を上回り、一般化能力の有効性を実証。
• PGGAN データセットは、評価されたすべてのターゲット GAN モデルにおいて、転移学習の最適な元データセットとして機能した。