[論文レビュー] IMAGINE: Image Synthesis by Image-Guided Model Inversion

Pei Wang, Yijun Li+3 more|arXiv (Cornell University)|Apr 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 5

ひとこと要約

IMAGINEは、事前学習済み分類器を用いた画像ガイドドモデル逆問題を活用することで、1枚の参照画像から多様で高品質な画像を生成する新しい画像合成手法を提案する。多層特徴マッチングと敵対的訓練を用いて意味的整合性を強制し、生成器の学習を必要とせず、形状、スタイル、意味的属性の面で直感的な制御が可能である。実現的で高品質な結果が得られる。

ABSTRACT

We introduce an inversion based method, denoted as IMAge-Guided model INvErsion (IMAGINE), to generate high-quality and diverse images from only a single training sample. We leverage the knowledge of image semantics from a pre-trained classifier to achieve plausible generations via matching multi-level feature representations in the classifier, associated with adversarial training with an external discriminator. IMAGINE enables the synthesis procedure to simultaneously 1) enforce semantic specificity constraints during the synthesis, 2) produce realistic images without generator training, and 3) give users intuitive control over the generation process. With extensive experimental results, we demonstrate qualitatively and quantitatively that IMAGINE performs favorably against state-of-the-art GAN-based and inversion-based methods, across three different image domains (i.e., objects, scenes, and textures).

研究の動機と目的

• 1枚の参照画像から意味的に意味のあるバリエーションを生成できるように、従来のGANベースおよび逆問題ベースの手法の限界を克服すること。
• 分類器逆問題手法の特徴である、特定の画像のバリエーションではなく、一般的なクラスレベルの画像しか生成しないという欠点を解消すること。
• 事前学習済み分類器と敵対的最適化を活用することで、専用の生成器を学習せずに高精細で多様な画像合成を実現すること。
• ネットワークの異なる層での特徴統計の操作により、画像合成における直感的なユーザー制御を可能にすること。
• モデル逆問題の応用を画像再構築の範囲から拡張し、意味的編集、スタイル転送、対仮説的説明を含む新たな応用を実現すること。

提案手法

• 参照画像から事前学習済み分類器（例：ResNet-50）を用いて多層特徴表現を抽出し、合成に向けた意味的制約として用いる。
• 分布マッチング正則化項を用いて、合成画像が分類器の複数の層で参照画像の特徴分布と一致するように最適化する。
• 生成器の学習を伴わずに、合成画像とディスクラミネーターの重みを交互に最適化することで敵対的訓練を導入し、リアルさを向上させる。
• 異なるネットワーク深さでのターゲット特徴統計の操作により、意味的属性（形状やアイデンティティ）の制御を可能にする。
• スタイル画像の統計を低層特徴に置き換えることで、特徴マッチング正則化項を再定義し、スタイル転送を実現。低層特徴を用いてスタイルの注入をガイドする。
• 対仮説的説明を実現するため、領域別アトリビューションマスクと特徴マッチングを組み合わせ、対仮説画像の識別的領域をクエリ画像に移動させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み分類器のモデル逆問題を、意味的整合性を保った参照画像ガイドド画像合成に再利用できるか？
• RQ2 敵対的訓練を画像最適化パイプラインに統合することで、生成器の学習なしにリアルさを向上させられるか？
• RQ3 異なるネットワーク深さでの特徴統計の操作が、形状やアイデンティティといった意味的属性の直感的制御にどの程度有効か？
• RQ4 パッチベース手法（例：SinGAN）が失敗する非反復的で意味的コンテンツが豊富な画像（例：アヒル、金魚）に対しても、本手法は一般化可能か？
• RQ5 同じ最適化フレームワークを用いて、スタイル転送や対仮説的視覚的説明といった追加応用をサポートできるか？

主な発見

• IMAGINEは、物体、シーン、テクスチャの分野において、最先端のGANベースおよび逆問題ベース手法よりも高品質で多様な画像を生成する。
• 本手法は、SinGANが意味的アイデンティティと構造を失うため失敗する非反復的画像（例：アフリカゾウ、金魚）を効果的に合成できる。
• 異なる層での特徴統計の操作により、クリッパークト参照画像から形状を変更したオブジェクトを生成する形状編集が可能になる。
• 敵対的訓練の統合により、ベースラインの分類器逆問題に比べて画像のリアルさが顕著に向上し、人間が受け入れ可能な結果が得られる。
• スタイル画像の低層特徴統計に置き換えることで、ターゲット画像のスタイライズドバリエーションを効果的に生成できる。
• 対仮説的説明は、対仮説画像の識別的領域をクエリ画像に移動させることで生成され、局所的かつ意味的に意味のある直感的な画像空間の説明が可能になる。