[論文レビュー] Reverse Engineering of Generative Models: Inferring Model Hyperparameters from Generated Images

Vishal Asnani, Xi Yin+2 more|arXiv (Cornell University)|Jun 15, 2021

Digital Media Forensic Detection参考文献 85被引用数 11

ひとこと要約

本稿では、生成画像のみから生成モデルのハイパーパrameter（ネットワークアーキテクチャや損失関数など）を推定する、新しいリバースエンジニアリング手法「モデルパーシング」を提案する。Fingerprint Estimation Network（FEN）を4つの制約で設計し、パーシングネットワーク（PN）を組み合わせることで、116種類の生成モデルを含む大規模データセット上で、深人造成検出および画像帰属分類において最先端の性能を達成し、未学習のモデルに対しても高い精度で一般化する。

ABSTRACT

State-of-the-art (SOTA) Generative Models (GMs) can synthesize photo-realistic images that are hard for humans to distinguish from genuine photos. Identifying and understanding manipulated media are crucial to mitigate the social concerns on the potential misuse of GMs. We propose to perform reverse engineering of GMs to infer model hyperparameters from the images generated by these models. We define a novel problem, ``model parsing", as estimating GM network architectures and training loss functions by examining their generated images -- a task seemingly impossible for human beings. To tackle this problem, we propose a framework with two components: a Fingerprint Estimation Network (FEN), which estimates a GM fingerprint from a generated image by training with four constraints to encourage the fingerprint to have desired properties, and a Parsing Network (PN), which predicts network architecture and loss functions from the estimated fingerprints. To evaluate our approach, we collect a fake image dataset with $100$K images generated by $116$ different GMs. Extensive experiments show encouraging results in parsing the hyperparameters of the unseen models. Finally, our fingerprint estimation can be leveraged for deepfake detection and image attribution, as we show by reporting SOTA results on both the deepfake detection (Celeb-DF) and image attribution benchmarks.

研究の動機と目的

• 生成された画像のみが入手可能な状況下で、生成モデルをリバースエンジニアリングする課題に取り組むこと。特に、訓練データや重みが入手できない未学習のモデルに対しても有効であることを目指す。
• 生成画像からアーキテクチャや損失関数といったハイパーパラメータを推定するという、新たな問題「モデルパーシング」を定義し、その解決を図ること。
• 二値の深人造成検出やクローズドセットの画像帰属分類にとどまらず、未知の生成モデルを含むオープンセット認識を可能にするフレームワークの開発。
• ベンチマーク用に、116種類の多様な生成モデルからなる10万枚の画像から成る大規模データセットを収集・公開すること。
• 帰属分類や検出を可能にするために、合成メディアのフォレンジック分析を可能にするモデルの指紋を抽出すること。

提案手法

• Fingerprint Estimation Network（FEN）により生成画像からモデル固有の埋め込みを抽出し、その後にParsing Network（PN）でハイパーパラメータを予測する二段階フレームワークを提案。
• FENに、識別性・不変性・一般化性を確保するための4つの学習制約（同一性、対照的、再構成、敵対的）を導入。
• 生成モデル間の構造的類似性を活用し、粗くから細かくまで段階的にハイパーパラメータを解析する階層的学習をPNに採用。
• 81種類のGANと13種類のVAEを含む116種類の生成モデルからなる10万枚の画像の大型データセットを用いて、FENを教師なしで学習。
• 学習済みの指紋を、画像帰属分類の微調整や、RGB/位相特徴と組み合わせた深人造成検出の下流タスクに応用。
• 同一の指紋表現を用いて、深人造成検出、画像帰属分類、モデルパーシングを統合的にサポートするフレームワークを実現。

実験結果

リサーチクエスチョン

• RQ1 重みや学習データにアクセスできない状況下でも、生成画像のみから生成モデルのハイパーパラメータ（アーキテクチャや損失関数）を推定できるか？
• RQ2 学習時に未確認の生成モデルを含まない状況でも、学習済みの指紋表現が、それらのモデルからの画像を検出・帰属付けるのに一般化できるか？
• RQ3 提案手法のFingerprint Estimation Networkは、多様なアーキテクチャや損失関数を有するモデルの特徴を的確に捉えられるか？
• RQ4 指紋ベースのアプローチは、未学習のモデルに対して、従来手法を上回る性能を示すか？
• RQ5 同じ生成モデルを基盤とする一連の誤情報キャンペーンを、指紋を用いて検出できるか？

主な発見

• 提案されたモデルパーシングフレームワークは、Celeb-DFベンチマークにおいて深人造成検出で最先端の性能を達成し、ピクセルレベルの監視情報を使用していないにもかかわらず、先行手法を上回る。
• Celeb-DFデータセット上では、他の手法がより高度なバックボーンや追加監視を用いても、本手法が最高のAUCスコアを記録した。
• Fingerprint Estimation Networkは、未学習の生成モデルに対しても効果的に一般化しており、テスト画像が両方とも未学習モデル由来の場合でも、誤分類率は約30%にとどまる。
• CelebAおよびLSUNデータセットにおける画像帰属分類性能は、先行研究を上回り、指紋の強靭性と多様なデータ分布への一般化能力を示している。
• 分類タスク用にパーシングネットワークを微調整した場合、事前学習済みの指紋を使用する場合より性能が劣ることから、指紋自体が検出タスクにおいてネットワーク全体よりも情報量が多いことが示された。
• 本フレームワークはオープンセット認識に対しても効果的に一般化でき、未学習の生成モデルからの画像を高い信頼性で検出可能である。