[論文レビュー] X-Transfer: A Transfer Learning-Based Framework for GAN-Generated Fake Image Detection

Lei Zhang, Hao Chen+6 more|arXiv (Cornell University)|Oct 7, 2023

Digital Media Forensic Detection被引用数 5

ひとこと要約

本稿では、知識の忘却を軽減し、GAN生成偽画像の検出を向上させるために、交互に並列に勾配を伝送する2つの姉妹型ニューラルネットワークを用いた、X-Transferと呼ばれる新しい転移学習フレームワークを提案する。AUC損失と交差エントロピー損失を組み合わせることで、99.04%の検出AUCを達成し、ベースラインの転移手法と比較して約10%の向上を示し、顔画像および非顔画像データセットにわたる強力な一般化性能を示している。

ABSTRACT

Generative adversarial networks (GANs) have remarkably advanced in diverse domains, especially image generation and editing. However, the misuse of GANs for generating deceptive images, such as face replacement, raises significant security concerns, which have gained widespread attention. Therefore, it is urgent to develop effective detection methods to distinguish between real and fake images. Current research centers around the application of transfer learning. Nevertheless, it encounters challenges such as knowledge forgetting from the original dataset and inadequate performance when dealing with imbalanced data during training. To alleviate this issue, this paper introduces a novel GAN-generated image detection algorithm called X-Transfer, which enhances transfer learning by utilizing two neural networks that employ interleaved parallel gradient transmission. In addition, we combine AUC loss and cross-entropy loss to improve the model's performance. We carry out comprehensive experiments on multiple facial image datasets. The results show that our model outperforms the general transferring approach, and the best metric achieves 99.04%, which is increased by approximately 10%. Furthermore, we demonstrate excellent performance on non-face datasets, validating its generality and broader application prospects.

研究の動機と目的

• GAN生成偽画像を検出する際の転移学習における知識の忘却の課題に対処すること。
• 現実世界のGAN検出シナリオで一般的に見られるクラス不均衡データセットにおける検出性能の向上。
• 顔画像以外のデータセット、例えばLSUN-Cat、LSUN-Church、LSUN-Carを含む多様なデータセットへのモデル一般化の強化。
• 転移中にソースおよびターゲットデータセットの両方で高い性能を維持する、ロバストな検出フレームワークの構築。
• AUC損失の有効性を検証し、特にデータ不均衡下でもモデル一般化および検出精度の向上に寄与すること。

提案手法

• X-Transferは、ターゲットデータセットへの適応に特化したマスターネットワークと、ソースデータセットからの知識を保持する補助ネットワークを備えた二重ネットワークの姉妹アーキテクチャを採用する。
• 2つのネットワークの対応層間で、交互に並列に勾配を伝送することで、学習のバランスを保ち、極端な忘却を低減する。
• モデル一般化および検出性能の向上を図るため、二値交差エントロピー損失とWMW-AUC損失を組み合わせたハイブリッド損失関数を統合する。
• BCEとAUC成分のバランスを取るために、AUC損失の重み付け（β）のハイパーパramータチューニングを実施し、StyleGAN2からStarGANに転移する際、β = 0.6が最適であることが判明した。
• 過学習の低減と耐性の向上を目的に、ガウスノイズ、JPEG圧縮、CutMixなどのデータ拡張技術を適用する。
• 一般化性能およびクラス不均衡下での性能を評価するため、CelebA、FFHQ、LSUN、GauGANといった複数のデータセットで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 二重ネットワークの転移学習フレームワークは、GAN生成画像検出の転移過程における知識の忘却を軽減できるか？
• RQ2 標準的な交差エントロピー損失と比較して、AUC損失の統合は、クラス不均衡データセットにおける検出性能をどのように向上させるか？
• RQ3 X-Transferフレームワークは、LSUN-Cat、LSUN-Church、LSUN-Carといった非顔画像データセットに対しても、どの程度一般化できるか？
• RQ4 X-TransferフレームワークにおけるAUC損失成分の最適なハイパーパramータ設定は何か？
• RQ5 データ拡張は、ターゲットデータセットでの性能を劣化させることなく、転移学習中の検出耐性を向上させるか？

主な発見

• X-Transferはターゲットデータセットで99.04%のAUCを達成し、標準的な転移学習手法と比較して約10%の向上を示した。
• 本手法はソースデータセット（98.0% AUC）およびターゲットデータセット（98.7% AUC）の両方で高い性能を維持しており、ドメイン間でのバランスの取れた性能を示している。
• 非顔画像データセットでは、LSUN-Catで97.9%、LSUN-Churchで98.1%、LSUN-Carで97.6%のAUCスコアを達成し、顔画像以外の画像に対しても強力な一般化性能を確認した。
• AUC損失の使用により、クラス不均衡が顕著なGauGANデータセットにおいて、ターゲットデータセットのAUCが4%上昇（87.2%から91.2%に）し、クラス不均衡に対する耐性が向上した。
• データ拡張により、ソースデータセットのAUCは93.2%から98.8%に向上したが、ターゲットデータセットのAUCは98.9%から97.4%にわずかに低下した。これは全体の耐性を高めるというトレードオフの関係を示しており、好ましい傾向である。
• StyleGAN2からStarGANに転移する際、AUC損失の最適ハイパーパramータβは0.6であると判明し、これが最高の検出性能をもたらした。