[論文レビュー] Leveraging Frequency Analysis for Deep Fake Image Recognition

J. Howard Frank, Thorsten Eisenhofer+4 more|arXiv (Cornell University)|Mar 19, 2020

Digital Media Forensic Detection参考文献 51被引用数 208

ひとこと要約

この論文はGAN生成画像を周波数領域で2D DCTを用いて分析し、アーキテクチャ横断でアップサンプリングから生じるアーティファクトを明らかにし、周波数ベースの検出器はパラメータ数が少なく頑健性が高い画像領域法を上回ることができることを示す。

ABSTRACT

Deep neural networks can generate images that are astonishingly realistic, so much so that it is often hard for humans to distinguish them from actual photos. These achievements have been largely made possible by Generative Adversarial Networks (GANs). While deep fake images have been thoroughly investigated in the image domain - a classical approach from the area of image forensics - an analysis in the frequency domain has been missing so far. In this paper, we address this shortcoming and our results reveal that in frequency space, GAN-generated images exhibit severe artifacts that can be easily identified. We perform a comprehensive analysis, showing that these artifacts are consistent across different neural network architectures, data sets, and resolutions. In a further investigation, we demonstrate that these artifacts are caused by upsampling operations found in all current GAN architectures, indicating a structural and fundamental problem in the way images are generated via GANs. Based on this analysis, we demonstrate how the frequency representation can be used to identify deep fake images in an automated way, surpassing state-of-the-art methods.

研究の動機と目的

• ディープフェイクを識別するのが難しいため、GAN生成画像の自動検出を促進する。
• GANアーキテクチャ、データセット、解像度を超えて周波数領域のアーティファクトが普遍的な現象かを調査する。
• 周波数領域のアーティファクトの由来を特定し、周波数ベースの検出手法の有効性を評価する。
• 周波数領域の分類器が精度と効率の面で最先端の画像領域アプローチを上回ることを示す。

提案手法

• JPEGと同様に2D type-II DCTを用いて画像を周波数領域に変換し、対数スケールの係数を正規化する。
• DCT特徴量上で線形および非線形分類器を評価し、実画像と偽画像を識別する。
• アップサンプリング技術（最近傍補間、アンチエイリアシング付きバイリニア、ビノミアル）を比較し、周波数アーティファクトへの影響を特定する。
• DCT特徴量と生のピクセル値の上で、リッジ回帰、浅いCNN、YuらのCNNなど多様な検出器を訓練・評価する。
• ぼかし、クロップ、圧縮、ノイズといった摂動に対する頑健性とデータ効率（20%のデータでの訓練）を評価する。
• 決定に寄与する周波数を解釈するため、分類器の重みを周波数空間へ戻す。

実験結果

リサーチクエスチョン

• RQ1 GAN生成画像はアーキテクチャやデータセットを横断して一貫した周波数領域のアーティファクトを示すか？
• RQ2 観察された周波数アーティファクトは主にGAN生成器のアップサンプリング操作に起因するか？
• RQ3 周波数領域表現はディープフェイクの正確でパラメータ効率の高い検出を可能にするか？
• RQ4 周波数領域検出器はアップサンプリングのバリエーションを横断して一般化し、一般的な画像の摂動に耐性を持つか？
• RQ5 周波数領域の手法は特定の画像を生成した基盤となるGANアーキテクチャを識別できるか？

主な発見

• GAN生成画像はアーキテクチャ、データセット、解像度を横断して周波数領域において深刻で一貫したアーティファクトを示す。
• アーティファクトはGAN生成器のアップサンプリングに関連しており、より精巧なアップサンプリング（アンチエイリアシング）は低減するが根絶はしない。
• 周波数領域の分類器は高い精度を達成し、DCT空間で線形分離が可能な設定もある（例えば実画像とStyleGAN間）。画像領域のCNNよりはるかに少ないパラメータを必要とする。
• 周波数領域モデルはピクセル領域モデルより大きな性能向上を達成する。例えばFFHQ対 StyleGANでリッジ回帰の精度が75.78%（ピクセル）から100.00%（DCT）へ向上（Table 1）。
• アップサンプリングのバリエーションでは、DCTベースの分類器は高い性能を維持し、設定によっては最大で約47%の利得（Table 3）。
• 周波数領域モデルはデータ効率が高く、より少ないデータ（わずか20%）で収束し高精度を維持する（Table 4）。
• これらの検出器はいくつかの摂動（ぼかし、トリミング、圧縮、ノイズ）に対して頑健性を示すが、敵対的摂動には必ずしも対応していない。