[論文レビュー] On the "steerability" of generative adversarial networks

Ali Jahanian, Lucy Chai+1 more|arXiv (Cornell University)|Jul 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 39

ひとこと要約

本論文は、GANの潜在空間をどこまで操縦して、単純な画像変換（カメラの動き、色の変化）を誘発できるかを検討し、訓練データの偏りによる限界を分析する。データ拡張と結合最適化によって操縦性を高める方法を提案する。

ABSTRACT

An open secret in contemporary machine learning is that many models work beautifully on standard benchmarks but fail to generalize outside the lab. This has been attributed to biased training data, which provide poor coverage over real world events. Generative models are no exception, but recent advances in generative adversarial networks (GANs) suggest otherwise - these models can now synthesize strikingly realistic and diverse images. Is generative modeling of photos a solved problem? We show that although current GANs can fit standard datasets very well, they still fall short of being comprehensive models of the visual manifold. In particular, we study their ability to fit simple transformations such as camera movements and color changes. We find that the models reflect the biases of the datasets on which they are trained (e.g., centered objects), but that they also exhibit some capacity for generalization: by "steering" in latent space, we can shift the distribution while still creating realistic images. We hypothesize that the degree of distributional shift is related to the breadth of the training data distribution. Thus, we conduct experiments to quantify the limits of GAN transformations and introduce techniques to mitigate the problem. Code is released on our project page: https://ali-design.github.io/gan_steerability/

研究の動機と目的

• 現実の映像における訓練データの偏りを超えた完全な一般化がGANに対してなぜ起こりにくいのかを動機づける。
• 潜在空間の操縦がどの程度意味のある変換（例：カメラの動き、色の変化）を生み出しうるかを定量化する。
• 操縦性を制限する要因を調査する。データセットの偏りやモデルアーキテクチャを含む。
• データ拡張と生成器と潜在的歩行の結合訓練によって操縦性を高める方法を提案する。

提案手法

• z → z + αw に沿って移動させると狙いの変換を誘発する潜在空間ウォーク w を定義する。
• G(z+αw) と edit(G(z), α) の間の L2 損失（または知覚的 LPIPS）を用いて、編集後の出力をターゲット編集と一致させる目的を最小化する。
• より大きな変換を達成するために、オイラー法のステップを近似する反復的な小さな編集の非線形ウォーク f に拡張する。
• データセット内の属性分布と変換後の出力を比較して操縦性を定量化する。
• 編集損失とGAN損失を併用した G と w の結合最適化を探り、操縦可能域を広げる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き属性を使わずに、GAN の単純な潜在空間ウォークが現実的なカメラのような変換（ズーム、平移、色の変化）を生み出せるか。
• RQ2 データセットの偏りとモデルアーキテクチャはGANの操縦性の程度にどう影響するか。
• RQ3 データ拡張と結合訓練により実現可能で現実的な変換の範囲を広げられるか。
• RQ4 基本的な変換において、線形ウォークはアーキテクチャを超えて非線形ウォークと同程度の性能を発揮するか。
• RQ5 操縦性は異なるGANアーキテクチャ（BigGAN、StyleGAN、DCGAN）とデータセットの間で一貫しているか。

主な発見

• 潜在空間ウォークは、ラベル付きターゲットなしに生成画像にカメラ運動や色変換を誘発できる。
• 単純な変換では線形ウォークが非線形ウォークと互角に機能することが多く、潜在空間の大雑把な線形化を示唆する。
• 変換の程度は限定的で、クラスごとの訓練データの変動性と相関する。
• 操縦性はアーキテクチャ間で一般化するが、分離特性は異なる。
• データ拡張と生成器とウォークの結合訓練は操縦性を高め、より大きな変換を可能にする。