[論文レビュー] Detection, Attribution and Localization of GAN Generated Images

Michael Goebel, Lakshmanan Nataraj+4 more|arXiv (Cornell University)|Jul 20, 2020

Digital Media Forensic Detection参考文献 79被引用数 10

ひとこと要約

本論文では、水平、垂直、対角方向のRGBピクセル近傍の共起行列を分析することで、GAN生成画像の検出、属性付与、局所化を実現する深層学習手法を提案する。本手法は、5種類のGANタイプにまたがる276万枚以上の画像データセットにおいて、ProGANおよびStarGANで97%を超える高い正確性を達成しており、JPEG圧縮下でも有効である。

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have led to the creation of realistic-looking digital images that pose a major challenge to their detection by humans or computers. GANs are used in a wide range of tasks, from modifying small attributes of an image (StarGAN [14]), transferring attributes between image pairs (CycleGAN [91]), as well as generating entirely new images (ProGAN [36], StyleGAN [37], SPADE/GauGAN [64]). In this paper, we propose a novel approach to detect, attribute and localize GAN generated images that combines image features with deep learning methods. For every image, co-occurrence matrices are computed on neighborhood pixels of RGB channels in different directions (horizontal, vertical and diagonal). A deep learning network is then trained on these features to detect, attribute and localize these GAN generated/manipulated images. A large scale evaluation of our approach on 5 GAN datasets comprising over 2.76 million images (ProGAN, StarGAN, CycleGAN, StyleGAN and SPADE/GauGAN) shows promising results in detecting GAN generated images.

研究の動機と目的

• 本物と見分けがつかないほどリアルなGAN生成画像の増加する課題に対処する。
• GAN識別器に依存する検出法の限界を克服する。初期テストでは80.4%の正確性にとどまる。
• 多様なGANアーキテクチャにわたるGAN操作の検出、属性付け、局所化を可能にする堅牢な手法を開発する。
• JPEG圧縮や画像スケールの変動といった実世界の条件でも一般化性能を向上させる。
• パッチベース解析とヒートマップ可視化を用いて、GAN生成領域の細粒度な局所化を実現する。

提案手法

• 各画像について、水平、垂直、対角方向の局所RGBピクセル近傍の共起行列を計算する。
• 得られた共起行列を直接深層ニューラルネットワークに供給し、手作業による特徴量設計を回避するエンドツーエンドの特徴学習を実現する。
• 重複する受容場（例：128×128のパッチ、ストライド8）を用いたパッチベース戦略を採用し、GAN生成領域の局所化を可能にする。
• 重複するピクセルのパッチレベルスコアを平均化することで、局所化ヒートマップを生成する。
• 複数クラス分類器を訓練し、画像を特定のGANタイプ（ProGAN、StarGAN、CycleGAN、StyleGAN、SPADE/GauGAN、本物画像）に属性付ける。
• 実世界のシナリオでの耐性を高めるために、ランダムJPEG圧縮（品質因子75、85、90、またはなし）によるデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 局所ピクセル近傍の共起行列は、多様なアーキテクチャにわたるGAN生成画像の検出に有効であるか？
• RQ2 提案手法は、GAN生成画像をその元となるGANモデルにどれほど正確に属性付けることができるか？
• RQ3 パッチベース解析を用いることで、画像内におけるGAN生成領域の局所化はどの程度可能か？
• RQ4 JPEG圧縮などの実世界の画像処理条件下でも、本手法の耐性はどの程度高いか？
• RQ5 共起行列を入力として学習した深層学習モデルは、従来のステガノグラフィー解析やGAN識別器ベースの検出法を上回る性能を示すか？

主な発見

• 前処理なしの全画像評価において、本物画像の分類正確性は0.975、StarGAN生成画像では0.976を達成した。
• ProGANの検出では全画像で100%の正確性を達成したが、CycleGANとStarGANはそれぞれ0.964および0.976の正確性を示した。
• JPEG圧縮（品質75～90）下でも、全体の正確性はわずかに0.8088に低下したが、すべてのGANタイプで安定した性能を維持した。
• 局所化ヒートマップは、本物領域（青）とGAN生成領域（赤）を明確に区別しており、すべてのGANタイプで一貫した空間パターンを示した。
• 深層特徴量のt-SNE可視化では、本物画像とGAN生成画像が明確にクラスタリングされており、効果的な特徴分離が行われていることが示された。
• SPADE/GauGANとStyleGANの全画像分類正確性はそれぞれ0.902および0.975であり、データセットサイズ、パッチサイズ、または学習データの特性の影響が考えられる。