[論文レビュー] Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints

Ning Yu, Larry S. Davis+1 more|arXiv (Cornell University)|Nov 20, 2018

Digital Media Forensic Detection参考文献 80被引用数 38

ひとこと要約

本論文は、GANによって生成された画像に内在する一貫性があり、安定したパターン（GANの指紋）を学習・分析するための新規手法を提案する。これらの指紋を用いて分類器を訓練することで、偽造画像のソースGANNモデルへの帰属付けを高精度に実現し、さまざまな攻撃的摂動に対しても強力な耐性を示し、多様な設定において既存のベースラインを上回る性能を発揮する。

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have shown increasing success in generating photorealistic images. But they also raise challenges to visual forensics and model attribution. We present the first study of learning GAN fingerprints towards image attribution and using them to classify an image as real or GAN-generated. For GAN-generated images, we further identify their sources. Our experiments show that (1) GANs carry distinct model fingerprints and leave stable fingerprints in their generated images, which support image attribution; (2) even minor differences in GAN training can result in different fingerprints, which enables fine-grained model authentication; (3) fingerprints persist across different image frequencies and patches and are not biased by GAN artifacts; (4) fingerprint finetuning is effective in immunizing against five types of adversarial image perturbations; and (5) comparisons also show our learned fingerprints consistently outperform several baselines in a variety of setups.

研究の動機と目的

• 視覚フォレンジックス分野におけるGAN生成偽造画像の検出と帰属付けという増大する課題に対処すること。
• GANが生成画像に一貫性があり識別可能な指紋を残すかどうかを調査すること。
• 画像を実画像かGAN生成画像かを正確に分類し、特定のGANソースを同定する手法を開発すること。
• 学習済み指紋がさまざまな攻撃的画像摂動に対して耐性を示すかを評価すること。
• 指紋学習手法と既存のベースライン手法を、帰属付けおよび検出タスクにおいて比較すること。

提案手法

• 本手法は、画像パッチの異なる周波数帯域にわたるGAN指紋を抽出・分類するための深層ニューラルネットワークを学習する。
• 異なるGANNモデル由来の画像を区別するための特徴を学習するために、シアンペインネットワークアーキテクチャを用いる。
• 指紋は複数の画像パッチおよび周波数成分（例えば、低周波および高周波帯域）から抽出され、耐性を確保する。
• モデルは、5種類の画像摂動に対して耐性を高めるために、攻撃的例で微調整される。
• 同じGANNソースに属する特徴埋め込み同士を近づけ、異なるソース同士を遠ざけるように、対照的損失関数が採用される。
• 最終的な帰属分類器は、学習済み指紋特徴を用いて、与えられた画像のGANNソースモデルを予測する。

実験結果

リサーチクエスチョン

• RQ1 GAN生成画像から、正確なモデル帰属付けを可能にする一貫性があり、安定した指紋を学習できるか？
• RQ2 GANの訓練における微小な変動が、得られる指紋およびその識別性に与える影響は何か？
• RQ3 指紋はさまざまな画像周波数および空間的パッチに対して耐性を示すか？
• RQ4 指紋に基づくモデルは、攻撃的画像摂動下でも高い性能を維持できるか？
• RQ5 指紋学習手法の性能は、既存のベースライン手法と比較して、ソース識別および偽造画像検出タスクで優れているか？

主な発見

• GANは、異なるモデル間で信頼性高く、識別可能な指紋を生成画像に残し、安定したソース帰属付けを可能にする。
• GANの訓練における微小な差異が、顕著に異なる指紋を生じさせ、細分化されたモデル認証を可能にする。
• GAN指紋はさまざまな画像周波数および空間的パッチに対して耐性を示し、一般的なGANアーティファクトに偏らない。
• 指紋の微調整により、5種類の攻撃的摂動下でも耐性が著しく向上し、高い精度を維持する。
• 本手法は、多様な実験設定において、ソース識別および偽造画像検出の両タスクで、複数のベースラインを一貫して上回る。
• 本手法は、GAN帰属付け分野で最先端の性能を達成しており、強力な一般化性と耐性を示している。