[論文レビュー] Do GANs leave artificial fingerprints?

Francesco Marra, Diego Gragnaniello+2 more|arXiv (Cornell University)|Dec 31, 2018

Digital Media Forensic Detection参考文献 20被引用数 4

ひとこと要約

この論文は、生成対抗ネットワーク（GAN）が生成する画像に一貫性があり検出可能な「人工的フィンガープリント」が残ることを示している。これはカメラ固有のPRNUパターンに類似している。生成画像からの残差を推定し、それらを平均化することで、安定したアーキテクチャ固有のフィンガープリントを抽出し、JPEG圧縮後でさえも複数のGANモデル間で高精度なソース同定が可能である。

ABSTRACT

In the last few years, generative adversarial networks (GAN) have shown tremendous potential for a number of applications in computer vision and related fields. With the current pace of progress, it is a sure bet they will soon be able to generate high-quality images and videos, virtually indistinguishable from real ones. Unfortunately, realistic GAN-generated images pose serious threats to security, to begin with a possible flood of fake multimedia, and multimedia forensic countermeasures are in urgent need. In this work, we show that each GAN leaves its specific fingerprint in the images it generates, just like real-world cameras mark acquired images with traces of their photo-response non-uniformity pattern. Source identification experiments with several popular GANs show such fingerprints to represent a precious asset for forensic analyses.

研究の動機と目的

• GANが生成画像にカメラのPRNUパターンに類似した一意で安定した痕跡を残すかどうかを調査すること。
• これらの痕跡が信頼性を持って抽出可能であり、画像ソースのフォレンジック的帰属に利用可能かどうかを特定すること。
• JPEG圧縮などの一般的な画像処理操作に対するこれらのフィンガープリントの耐性を評価すること。
• 異なるGANアーキテクチャが生成する画像を区別する能力について、GANフィンガープリントの識別性能を調査すること。

提案手法

• ノイズから高レベルの意味を分離するために、画像コンテンツをノイズ除去フィルタ $ f(X_i) $ を用いて推定する。
• 残差を $ R_i = X_i - f(X_i) $ として計算し、元の画像とノイズ除去後の画像の差を表す。
• 複数の残差の平均をとることでGANフィンガープリントを推定する：$ \widehat{F} = \frac{1}{N} \sum_{i=1}^{N} R_i $。
• 残差とフィンガープリント間の相関分析を用いて、フィンガープリントの安定性と検出可能性を検証する。
• 最小距離ルールを用いてソース同定を実行し、残差を既知のフィンガープリントと比較する。
• JPEG圧縮（QF=95）を適用して再び同定精度を評価することで耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 GANは、画像コンテンツに依存せずに、一貫性があり検出可能なフィンガープリントを生成画像に残すか？
• RQ2 JPEG圧縮などの一般的な画像処理操作に対して、これらのフィンガープリントはどれほど耐性があるか？
• RQ3 GANフィンガープリントを用いて、画像のソースとなるGANアーキテクチャを正確に同定できるか？
• RQ4 異なるGANアーキテクチャ間でのフィンガープリントはどのように異なるのか？また、類似したアーキテクチャ同士では類似したフィンガープリントが得られるか？
• RQ5 GANフィンガープリントは、既存のディープラーニングベースのGAN検出システムの性能を向上させることができるか？

主な発見

• GANは、目立つアーティファクトがなく、写真のようにリアルな出力に対しても、安定的でアーキテクチャ固有のフィンガープリントを残す。
• フィンガープリントを用いたソース同定は90％以上の正確性を達成しており、ほとんどの場合にほぼ完璧な性能を示すが、Star-GANの男性および笑顔ネットワークを除く。
• QF=95で画像を圧縮しても90.1％の高い正確性を維持しており、強い耐性があることが示された。
• 相関分析により、あるGANからの残差は、自身のフィンガープリントとの間でのみ強く相関しており、他のGANや実カメラのフィンガープリントとは相関しないことが確認された。
• 同じGANアーキテクチャだが異なるデータセットで学習した場合、フィンガープリントの相関は弱いが検出可能であり、トレーニングデータに応じてフィンガープリントが変化することが示唆された。
• フォレンシックス GAN チャレンジにおいて、ディープラーニングとGANフィンガープリント検出を組み合わせることでAUCが0.999に向上し、実世界の検出タスクにおける実用的価値を示した。