[論文レビュー] Attributing Fake Images to GANs: Analyzing Fingerprints in Generated Images.

Ning Yu, Larry S. Davis+1 more|arXiv (Cornell University)|Nov 20, 2018

Digital Media Forensic Detection参考文献 19被引用数 40

ひとこと要約

本稿では、GANによって生成された画像における一意で安定したフィンガープリントを学習・活用する手法を紹介する。周波数およびパッチごとの潜在的パターンを分析することで、敵対的摂動が加えられても、画像を実画像かGAN生成画像かを正確に分類し、特定のGANモデルにまで追跡可能である。既存のベースラインを上回る性能を発揮する。

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have shown increasing success in generating photorealistic images. But they also raise challenges to visual forensics and model attribution. We present the first study of learning GAN fingerprints towards image attribution and using them to classify an image as real or GAN-generated. For GAN-generated images, we further identify their sources. Our experiments show that (1) GANs carry distinct model fingerprints and leave stable fingerprints in their generated images, which support image attribution; (2) even minor differences in GAN training can result in different fingerprints, which enables fine-grained model authentication; (3) fingerprints persist across different image frequencies and patches and are not biased by GAN artifacts; (4) fingerprint finetuning is effective in immunizing against five types of adversarial image perturbations; and (5) comparisons also show our learned fingerprints consistently outperform several baselines in a variety of setups.

研究の動機と目的

• 視覚フォレンシックス分野における、偽造画像をその源となるGANモデルに帰属付けるという増大する課題に対処すること。
• GANが生成画像に安定的で区別可能なフィンガープリントを残すかどうかを調査すること。
• GANの微細なトレーニング差異に基づく、細分化されたモデル認証を可能にする手法を開発すること。
• 学習されたフィンガープリントが5種類の敵対的画像摂動に対してどれほど頑健であるかを評価すること。
• 多様な設定下で、提案手法のフィンガープリント手法と複数のベースライン手法の性能を比較すること。

提案手法

• 本手法は、GAN生成画像から、異なる周波数および空間的パッチにおける統計的パターンを分析することで、モデル固有のフィンガープリントを学習する。
• 深層学習ベースの分類器を用いて、ソースとなるGANアーキテクチャおよびトレーニング設定と相関する安定的で特徴的な特徴を検出・抽出する。
• フィンガープリント表現は、一般的なGANアーティファクトに対して不変であり、画像領域および周波数帯域にわたり耐性を持つように設計されている。
• 敵対的訓練を組み込むことで、フィンガープリントを微調整し、5種類の画像摂動に対して耐性を高めている。
• 異なるGANモデル間でのフィンガープリントの判別力を強化するために、対照的学習戦略が採用されている。
• 本手法は、バイナリ分類（実画像対GAN生成画像）およびマルチクラス帰属特定（特定のGANモデル同定）の両方を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 GAN生成画像から、そのソースモデルを一意に特定できる、明確で安定したフィンガープリントを学習できるか？
• RQ2 GANトレーニング手順の微小な変化が、検出可能な異なるフィンガープリントを生じさせるか？ これにより、細分化されたモデル認証が可能になるか？
• RQ3 学習されたフィンガープリントは、異なる周波数、空間的パッチ、画像領域においても頑健か？
• RQ4 5種類の敵対的画像摂動が加えられても、フィンガープリント手法の精度が維持されるか？
• RQ5 提案手法のフィンガープリント手法は、画像帰属特定および分類タスクにおいて、既存のベースライン手法と比較してどの程度優れているか？

主な発見

• GANは、多様な画像領域および周波数帯域において、一貫して安定的で区別可能なフィンガープリントを生成画像に残しており、信頼性の高い画像帰属特定が可能である。
• GANトレーニング設定の微細な差異が、検出可能な異なるフィンガープリントを生じさせることを裏付け、細分化されたモデル認証が可能であることを示している。
• 学習されたフィンガープリントは、GANアーティファクトに対して頑健であり、異なる画像パッチおよびスペクトル成分においても効果的である。
• フィンガープリントの微調整により、5種類の敵対的摂動に対して著しく耐性が向上し、高い帰属特定精度を維持している。
• 提案手法は、さまざまな実験設定において、画像ソース分類および帰属特定タスクの両方で、複数のベースライン手法を一貫して上回っている。
• 一般的な画像処理技術による画像変更に対してもフィンガープリントが保持されることから、強力な一般化能力を示している。