[論文レビュー] Exposing GAN-synthesized Faces Using Landmark Locations

Xin Yang, Yuezun Li+2 more|arXiv (Cornell University)|Mar 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 14

ひとこと要約

本稿では、生成対話ネットワーク（GAN）によって生成された顔の幾何的配置に注目し、GANの学習時にグローバルな構造的制約が欠落するため、顔の特徴点間の空間的配置が不自然になることを利用した軽量な検出手法を提案する。正規化された特徴点座標を入力とし、SVM分類器がPGGANで生成された顔に対して94.13%のAUROCを達成した。これは、計算リソースを最小限に抑え、リサイズに強く、深層畳み込みニューラルネットワーク（CNN）モデルを上回る性能を発揮した。

ABSTRACT

Generative adversary networks (GANs) have recently led to highly realistic image synthesis results. In this work, we describe a new method to expose GAN-synthesized images using the locations of the facial landmark points. Our method is based on the observations that the facial parts configuration generated by GAN models are different from those of the real faces, due to the lack of global constraints. We perform experiments demonstrating this phenomenon, and show that an SVM classifier trained using the locations of facial landmark points is sufficient to achieve good classification performance for GAN-synthesized faces.

研究の動機と目的

• GANによって生成されるリアルな人間の顔の増加が引き起こす倫理的・法的・セキュリティ上のリスクに対処するため。
• GANベースの顔生成におけるグローバル構造的制約の欠如によって生じる顔部品配置の微細な幾何的不一致を特定するため。
• 顔の特徴点位置を特徴量として用いる軽量でスケーラブルな検出手法を開発するため。
• PGGAN生成顔およびその他の合成顔の操作（例：FaceForensicsに含まれる顔）に対し、性能を評価するため。
• 低次元の幾何学的特徴が、計算コストを低減しつつ、複雑な深層学習モデルを上回る検出精度を達成できることを示すため。

提案手法

• 本手法は、事前学習済みの顔アライメントモデルを用いて68個の顔の特徴点を抽出することで、GANで生成された顔を検出する。
• 顔のスケール、回転、平行移動の変動を補正するため、特徴点座標を標準座標系に正規化する。
• 正規化された特徴点位置を1次元に平坦化し、136次元の特徴ベクトル（68×2）にし、学習セットの平均と標準偏差を用いて標準化する。
• クラスバランスのとれた損失関数を用い、サンプルの重みをクラス頻度の逆数に比例させる径間基底関数（RBF）カーネルを用いたSVM分類器を学習する。
• ハイパーパrameterは5分割交差検証を用いて最適化し、PGGANで生成された顔および実際のCelebA顔に対してモデルを評価する。
• さらに、FaceForensicsデータセットでもテストを行い、1動画ごとにフレームレベルの予測を平均化することで性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 顔の特徴点配置における幾何的不一致は、GANで生成された顔と実際の顔を区別するための信頼できる指標として機能するか？
• RQ2 特徴点位置を用いた軽量なSVM分類器は、モデルの複雑さと頑健性の観点から、深層ニューラルネットワークを上回ってGAN生成顔を検出できるか？
• RQ3 画像リサイズが、特徴点ベースの検出手法と画像ベースの深層学習モデルの性能に与える影響は何か？
• RQ4 提案手法は、GANに限らず、FaceForensicsベンチマークに含まれる他の種類の合成顔操作に対しても汎用性を示せるか？
• RQ5 顔の表情や被覆（オクルージョン）は、特徴点検出の正確性およびその後の分類性能にどの程度影響を及ぼすか？

主な発見

• SVM分類器は、136次元の特徴点特徴量のみを用いて、PGGANで生成された顔に対して94.13%のAUROCを達成した。これは、同じデータセットでVGG19 や XceptionNet といった複数の深層CNNモデルを上回った。
• 特徴点ベースの手法は画像リサイズに対して頑健であり、拡大または縮小に対しても分類性能が著しく低下しなかった。一方、深層学習モデルではリサイズによってアーチファクトが生じる可能性があった。
• FaceForensicsデータセットでは、フレーム単位の予測でAUROCが0.83であったが、動画内の複数フレームの予測を平均化することで0.90に向上した。
• 本手法は顕著に少ないパラメータ数を必要とし、GPU加速に依存せずCPUでも学習・推論が可能である。これに対して深層学習モデルはGPUを必要とする。
• 実際の顔に対する誤検出は、顔の表情が強い場合や被覆がある場合に特徴点検出が困難になることが主な原因であり、分類器自体のバイアスによるものではなかった。
• 結果から、GANは顔の詳細を非常にリアルに生成するが、顔の各部品間の自然な空間的関係を一貫して維持できないことが確認された。この不自然さは、特徴点の幾何学的配置から検出可能である。