[論文レビュー] Fourier Spectrum Discrepancies in Deep Network Generated Images

Tarik Dzanic, Karan Shah+1 more|arXiv (Cornell University)|Nov 15, 2019

Digital Media Forensic Detection参考文献 24被引用数 57

ひとこと要約

論文は実画像と深層ネットワーク生成画像の高周波フーリエスペクトル差を分析し、スペクトル減衰パラメータを用いた低データ分類器で合成画像を検出する方法と、スペクトル合成手法を提案して検出器を欺くことを検討する。

ABSTRACT

Advancements in deep generative models such as generative adversarial networks and variational autoencoders have resulted in the ability to generate realistic images that are visually indistinguishable from real images, which raises concerns about their potential malicious usage. In this paper, we present an analysis of the high-frequency Fourier modes of real and deep network generated images and show that deep network generated images share an observable, systematic shortcoming in replicating the attributes of these high-frequency modes. Using this, we propose a detection method based on the frequency spectrum of the images which is able to achieve an accuracy of up to 99.2% in classifying real and deep network generated images from various GAN and VAE architectures on a dataset of 5000 images with as few as 8 training examples. Furthermore, we show the impact of image transformations such as compression, cropping, and resolution reduction on the classification accuracy and suggest a method for modifying the high-frequency attributes of deep network generated images to mimic real images.

研究の動機と目的

• GAN/VAE生成画像の信頼性が高くデータ効率的な検出が必要であることを動機づける。
• 複数のアーキテクチャにわたる実画像と生成画像の高周波フーリエ特性を調査する。
• 少数の学習サンプルで機能する簡易なスペクトルベース分類器を開発する。
• スペクトルベース検出の解像度と圧縮の影響を評価する。
• スペクトル編集法を提案しスペクトルベース検 detectorsを欺く。

提案手法

• DC正規化付き画像チャネルの離散フーリエ変換を計算する。
• 座標を正規化された極座標周波数空間へ変換し、方位平均して縮約スペクトル c(k_r) を得る。
• k_r ≥ k_T に対して c(k_r) ≈ b1 (k_r/k_T)^{b2} のべき法則減衰を適合させ、高周波パラメータ b1 と b2 を取得する。
• (b1, b2) に対して KNN 分類器を用い、最小限の学習データで実画像と偽画像を識別する。
• FFHQ および GAN/VAE モデル（StyleGAN、StyleGAN2、PGGAN、VQ-VAE2、ALAE）のデータセットを、解像度 1024^2、768^2、256^2 および圧縮品質 (100、95、85) で実験する。
• 深層ネットワーク画像の高周波スペクトルを現実画像のスペクトルへ似せるように変更するスペクトル合成法を説明する。

実験結果

リサーチクエスチョン

• RQ1 複数のアーキテクチャを横断して、実画像と深層ネットワーク生成画像を高周波フーリエスペクトル特徴で区別できるか。
• RQ2 解像度と不可逆圧縮がスペクトルベース検出の有効性にどのように影響するか。
• RQ3 高周波属性を用いた偽画像検出のための低データ（Few-shot）分類器は実現可能か。
• RQ4 高周波スペクトルを意図的に変更してスペクトルベース検 detectors を欺くことができるか。
• RQ5 異なる生成モデル（GANs と VAEs）は高周波減衰パターンに違いを示すか。

主な発見

• 実画像は高周波減衰が k_r^{-4} に概ね比例しつつ飽和する傾向を示す一方、深層ネットワーク生成画像（StyleGAN2 など一部を除く）はより緩やかに減衰し、べき指数が 1 未満になる。
• 解像度 1024^2 の非圧縮画像での分類精度は全体で最大 99.2%、アーキテクチャ別精度は最大 99.9%（実験A）。
• 圧縮は識別性を低下させる。品質 85% では実画像と多くの GAN 生成スペクトルが識別不能となり得るが、VQ-VAE2 は一部のケースで依然識別可能。
• 小さな画像解像度は識別性を低下させるが、減衰パラメータ分類器は解像度に合わせて調整することで頑健さを維持できる（例: 1024^2 対 768^2）。
• VAEs（VQ-VAE2）は高周波成分が相対的に低く、圧縮下で実画像と区別しにくくなる傾向がある。
• スペクトル合成法により高周波成分を実スペクトルと一致させて検 detectors を欺くことが可能で、目視できるアーティファクトを導入せずに済む。