[論文レビュー] ExSinGAN: Learning an Explainable Generative Model from a Single Image

Zicheng Zhang, Congying Han+1 more|arXiv (Cornell University)|May 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 8

ひとこと要約

ExSinGANは、3つのモジュラーGAN（構造、意味、テクスチャGAN）を用いて、内部パッチ統計と外部事前知識を統合することで、1枚の画像から階層的かつ説明可能な生成モデルを学習する。GAN逆問題による構造的監視と、事前学習済み分類器による意味的ガイダンスを統合することで、特に複雑なシーンや大きなオブジェクトに対して、SinGANに比べて優れた画像合成と一般化性能を達成する。

ABSTRACT

Generating images from a single sample, as a newly developing branch of image synthesis, has attracted extensive attention. In this paper, we formulate this problem as sampling from the conditional distribution of a single image, and propose a hierarchical framework that simplifies the learning of the intricate conditional distributions through the successive learning of the distributions about structure, semantics and texture, making the process of learning and generation comprehensible. On this basis, we design ExSinGAN composed of three cascaded GANs for learning an explainable generative model from a given image, where the cascaded GANs model the distributions about structure, semantics and texture successively. ExSinGAN is learned not only from the internal patches of the given image as the previous works did, but also from the external prior obtained by the GAN inversion technique. Benefiting from the appropriate combination of internal and external information, ExSinGAN has a more powerful capability of generation and competitive generalization ability for the image manipulation tasks compared with prior works.

研究の動機と目的

• 複雑な単一画像、特に大きなまたは複雑なオブジェクトを含む場合に、SinGANの生成可能な画像の限界を克服すること。
• 明示的な監視を伴う構造的で階層的な学習を導入することで、単一画像生成モデルの解釈可能性と制御可能性を向上させること。
• 内部パッチベースの学習と、GAN逆問題および事前学習済み分類器からの外部生成事前知識を組み合わせることで、生成品質と一般化能力を向上させること。
• 画像編集、ハーモナイゼーション、ペイントから画像への変換などの下流画像操作タスクにおいて、強力なパフォーマンスを実現すること。

提案手法

• ExSinGANは、粗いスケールから細かいディテールへと段階的に生成する3段階のモジュラーGANフレームワーク（構造GAN、意味GAN、テクスチャGAN）を採用し、順次訓練する。
• 構造GANは、入力画像から構造的事前知識を抽出・監視するためにGAN逆問題を用い、一貫性のあるレイアウト生成を保証する。
• 意味GANは、事前学習済み分類器（例：VGG-19）を活用して、生成されたレイアウトに意味的に意味のある特徴を統合する。
• テクスチャGANは、事前学習済みネットワークからの知覚的損失を用いて、高周波数のテクスチャディテールを精緻化する。
• トレーニング中に、入力画像からの内部パッチ統計と、GAN逆問題からの外部事前知識の両方を用い、生成の安定性と向上を図る。
• 各段階が前の段階に基づいて構築される、解像度を段階的に向上させるプログレッシブトレーニング戦略を採用し、安定性と品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部の構造的および意味的事前知識を統合することで、純粋な内部学習に比べ、単一画像生成の品質と制御可能性が向上するか？
• RQ2 ExSinGANのモジュラー設計（構造、意味、テクスチャ学習の分離）は、生成モデルの説明可能性とパフォーマンスにどのように影響するか？
• RQ3 内部パッチ統計と外部生成事前知識を組み合わせることで、編集やペイントから画像への変換などの画像操作タスクにおける一般化能力がどの程度向上するか？
• RQ4 品質と計算コストのバランスを考慮した場合、ExSinGANにおけるネットワークの深さ（N）と知覚的損失層の数（n）の最適な設定は何か？
• RQ5 事前学習済み分類器とGAN逆問題の使用により、特に複雑なシーンにおいて生成画像の意味的整合性が向上するか？

主な発見

• ExSinGANは、特に複雑なシーンや大きなオブジェクトにおいて、SinGANに比べて現実的で文脈的に整合性のある画像を生成することを定性的な比較で確認した。
• アブレーションスタディの結果、構造GANは妥当なレイアウトを生成するために不可欠であり、意味GANは現実性とディテールの忠実度を向上させることを示した。
• BigGANの識別器を知覚的損失に用いることで、VGG-19と同等の結果が得られ、多様な事前学習済みネットワークが意味的生成を効果的にガイドできることを示した。
• 知覚的損失層の最適数（n）は3と特定された。これより多くすると、過剰なピクセルレベルの監視により過学習やアーチファクトの発生が生じる。
• 段階数（N）を増やすことで画像品質は向上するが、収束効果が小さくなり、計算コストが上昇する。N=9はN=5に比べて約2倍の時間がかかる。
• ExSinGANは画像操作タスクにおいて競争力のあるパフォーマンスを達成した。ペイントから画像への変換や画像ハーモナイゼーションにおいて、より現実的なテクスチャを生成し、構造的ディテールの保持をより良くし、SinGANを上回った。