[論文レビュー] Resolution Dependent GAN Interpolation for Controllable Image Synthesis Between Domains

Justin N. M. Pinkney, Doron Adler|arXiv (Cornell University)|Oct 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 61

ひとこと要約

本研究は、事前学習済みStyleGANモデル間で解像度依存の層交換を行い、ドメイン間を補間する手法を提案する。これにより、制御可能なスタイリスティック特徴を伴う新規ドメイン生成が可能になる。

ABSTRACT

GANs can generate photo-realistic images from the domain of their training data. However, those wanting to use them for creative purposes often want to generate imagery from a truly novel domain, a task which GANs are inherently unable to do. It is also desirable to have a level of control so that there is a degree of artistic direction rather than purely curation of random results. Here we present a method for interpolating between generative models of the StyleGAN architecture in a resolution dependent manner. This allows us to generate images from an entirely novel domain and do this with a degree of control over the nature of the output.

研究の動機と目的

• 画像解像度に関連する制御可能な特徴を維持しつつ、生成モデル間を補間して新規ドメインからの生成を動機づけ、可能にする。
• 特定の解像度で特徴を捉えるStyleGANの異なる層の既知の役割を活用し、制御されたクロスドメイン合成を実現する。
• 層ベースのモデル補間を通じたトゥーン化および浮世絵スタイル転送の実用的手法を実証する。

提案手法

• 基底モデルと移行モデルの間を補間するための解像度ベースの層交換スキームを定義する。
• 新しいドメインで転移学習を通じて移行モデルを訓練し、マッピングネットワークのパラメータを基底モデルのものに固定する。
• 層解像度 r とスワップ閾値 r_swap に依存して、基底モデルまたは移行モデルからの層ごとの寄与を選択して p_interp を構築する。
• 補間モデルを用いて、1つのドメインの構造特性ともう1つのドメインのレンダリングを組み合わせた画像を生成する。
• 任意の顔を基底モデルの潜在空間へマッピングするエンコーディング/埋め込みアプローチを提供し、トゥーン化出力を得る。

実験結果

リサーチクエスチョン

• RQ1 StyleGANモデル間の解像度依存型層交換は、基底データセットにも移行データセットにも存在しない新規ドメインの画像を生成できるか。
• RQ2 どの程度、スワップする解像度の層を選択することで、構造的特徴とレンダリング品質のバランスを制御できるか。
• RQ3 補間モデルを使用した場合、任意の顔を基底モデルにエンコードすることがトゥーン化出力にどう影響するか。
• RQ4 StyleGAN2フレームワーク内で安定した補間結果を生み出す、実用的な転移学習設定（データセット、訓練期間）は何か。

主な発見

• 異なる解像度での層交換により、混在ドメイン特性を持つ画像の生成が可能になる。例えば、マンガ風の構造と写真実写のレンダリングを組み合わせた画像など。
• 同じ潜在ベクトルを基底モデルと補間モデルの両方で使用することで、広いアイデンティティ特徴を保持できる。
• 基底モデルの高解像度層と移行モデルの低解像度層を組み合わせた出力は、マンガ風の構造的特徴と現実的な質感を備える。
• 同じ潜在入力からトゥーン化出力を得られ、アイデンティティを維持しつつ新しいスタイル構造を採用する。