[論文レビュー] TequilaGAN: How to easily identify GAN samples

Rafael Valle, Wilson Cai+1 more|arXiv (Cornell University)|Jul 13, 2018

Digital Media Forensic Detection参考文献 9被引用数 12

ひとこと要約

TequilaGANは、GANによって生成されたサンプルを識別する手法を提案する。この手法は、実データと区別できる数値的・統計的シグネチャを特定することに依存しており、ピクセル値やスペクトル重心・勾配などの特徴の統計的分析に加え、実データから抽出した形式的仕様を用いる。偽のサンプルは一貫してこれらの仕様を破るため、MNIST、CIFAR10、音楽、音声データセットのあらゆる分野で信頼性の高い検出が可能となる。

ABSTRACT

In this paper we show strategies to easily identify fake samples generated with the Generative Adversarial Network framework. One strategy is based on the statistical analysis and comparison of raw pixel values and features extracted from them. The other strategy learns formal specifications from the real data and shows that fake samples violate the specifications of the real data. We show that fake samples produced with GANs have a universal signature that can be used to identify fake samples. We provide results on MNIST, CIFAR10, music and speech data.

研究の動機と目的

• 視覚的検査では判別できないが、合成由来を示す数値的・統計的性質をGAN生成サンプルから特定すること。
• ピクセル強度および派生特徴における実データと生成データの統計的乖離を用いた、偽物サンプルの検出手法の開発。
• 実データから形式的仕様を抽出し、GANサンプルがこれらの仕様をどのように違反するかを示し、検出を可能にすること。
• 画像（MNIST、CIFAR10）、音楽（バッハのコーラール）、音声（NIST 2004）を含む多様なデータモダリティにおいて、手法の評価を行うこと。
• GAN評価における定性的な画像品質評価への依存を避ける、定量的で視覚的でない代替手法を提供すること。

提案手法

• 実サンプルおよび生成サンプルのピクセル強度およびスペクトル重心・勾配などの派生特徴の統計的モーメント（平均、分散、歪度）を計算する。
• 実データと偽物データの経験的累積分布関数（CDF）を比較するために、コルモゴロフ＝スミルノフ（KS）二標本検定およびジェンセン＝シャノン・ダイバージェンス（JSD）を用いる。
• スペクトル重心や勾配値の範囲といった特徴ベースの制約を用いて、実データから形式的仕様を学習し、偽物サンプルにおける違反を検証する。
• MNIST、CIFAR10、バッハのコーラールのMIDIファイル、NIST 2004音声データセットからのメルスペクトログラムなど、複数のデータセットにこの手法を適用する。
• DCGANにL2損失を用いたLSGANおよび改善版WGAN-GP（IWGAN）の目的関数を用いて、比較用のサンプルを生成する。
• 指数分布などのランダムベースラインを用いて、乖離がGAN生成由来か、それともデータ固有の変動由来かを評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的差が小さい場合でも、GAN生成サンプルの数値的統計的性質を用いて、実サンプルと信頼性高く区別できるか？
• RQ2 GAN生成サンプルは、実データと比較して、スペクトル重心や勾配などの特徴の統計的モーメントにおいて体系的な乖離を示すか？
• RQ3 実データから導出された形式的仕様を用いて、これらの仕様の違反を検出することで、GANサンプルを検出できるか？
• RQ4 LSGANやIWGAN-GPといった異なるGANアーキテクチャは、統計的および仕様ベースの検出性においてどのように比較されるか？
• RQ5 データ圧縮や非線形変換（例：メルスペクトログラムにおける対数圧縮）は、GANサンプルの検出可能性にどの程度影響を及えるか？

主な発見

• MNISTでは、IWGANによる実サンプルと偽物サンプル間のKS検定統計量が0.21875、p値が0.080に達し、統計的乖離が顕著であることが示された。
• バッハのコーラールデータセットでは、実サンプルと偽物サンプル間のJSDが0.084であった一方、ベルヌーイベースラインではJSDが0.604に達し、偽物サンプルが実データから有意に逸脱していることが確認された。
• 音声データ（NIST 2004）では、実サンプルと偽物サンプルのメルスペクトログラム強度間のKS検定統計量が0.22149（p値 = 0.0）に達し、実データと顕著な統計的差があることが示された。
• 高い知覚的類似性にもかかわらず、実データに適合するスペクトル重心や勾配の範囲といった形式的仕様を、偽物サンプルは破っていた。
• 偽物サンプルのスペクトル重心および勾配のモーメントは、実データの分布と著しく重複しており、低次統計の近似が有効に行われていたが、高次元の乖離は依然として検出可能であった。
• メルスペクトログラムにおけるダイナミックレンジ圧縮後も、実データと偽物サンプルの経験的CDFは顕著に乖離しており、特にtanh活性化関数の飽和領域付近で顕著であった。