[論文レビュー] GANSpace: Discovering Interpretable GAN Controls

Erik Härkönen, Aaron Hertzmann+2 more|arXiv (Cornell University)|Apr 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 425

ひとこと要約

GANSpace は、事前学習済みの GAN の解釈可能な潜在方向を PCA により latent space または feature space で識別する、再学習なしのシンプルな無監督手法を提示します。これにより、レイヤーごとの編集や StyleGAN のような制御を再学習なしで実現します。

ABSTRACT

This paper describes a simple technique to analyze Generative Adversarial Networks (GANs) and create interpretable controls for image synthesis, such as change of viewpoint, aging, lighting, and time of day. We identify important latent directions based on Principal Components Analysis (PCA) applied either in latent space or feature space. Then, we show that a large number of interpretable controls can be defined by layer-wise perturbation along the principal directions. Moreover, we show that BigGAN can be controlled with layer-wise inputs in a StyleGAN-like manner. We show results on different GANs trained on various datasets, and demonstrate good qualitative matches to edit directions found through earlier supervised approaches.

研究の動機と目的

• 事前学習済み GAN の追加の監督なしで、解釈可能な制御を動機づけて有効にする。
• 原理的な統計手法を用いて GAN の潜在空間で意味のある編集方向を特定する。
• PCA 方向をレイヤーごとに適用することで、解釈可能で制御可能な画像編集を得られることを示す。
• StyleGAN および BigGAN を用いたレイヤー-wise 編集とスタイル風の混合を通じた実用的な制御機構を示す。

提案手法

• BigGAN の早期レイヤーの特徴テンソルに対して PCA を適用して主成分方向を得る。
• 対応する潜在方向を、PCA成分を投影し、必要に応じて潜在空間へ回帰させることで算出する（StyleGAN: w; BigGAN: z による u）。
• 特定のレイヤー範囲に PCA 方向を適用してレイヤーごとの編集を定義する（StyleGAN の場合は E(v_k, j–k) など）。
• 中間の Skip-z 入力をレイヤー間で分離して変化させることにより、StyleGAN 的な制御に相当するレイヤーごとのスタイル混合を可能にするよう BigGAN を修正する。
• 方向を探索し、編集に名前を付け、方向セットを保存/読み込みできる対話型 GUI を提供する。

実験結果

リサーチクエスチョン

• RQ1 監督なしの PCA が、ラベル付き監視なしで事前学習済み GAN において意味のある、解釈可能な方向を特定できるか。
• RQ2 レイヤーごとの PCA 方向の適用は、異なるレイヤー間で分離された編集や選択的に絡み合った編集を生み出すか。
• RQ3 再学習なしで StyleGAN 的なレイヤーごとの制御をサポートするよう BigGAN を強化できるか、同様の編集機能を実現できるか。
• RQ4 PCA に基づく方向は、監督ありの方向やランダムな方向と比較して、解釈可能な画像編集を生み出すか。
• RQ5 PCA による編集から生じるバイアスや絡みは何か、学習データの特性をどのように反映して現れるか。

主な発見

• StyleGAN の W 空間と BigGAN の早期レイヤーの特徴から、ポーズ、性別、照明、背景といった主な変動モードが明らかになる。
• 特定のレイヤー範囲を選択してレイヤーごとに PCA 方向を適用すると、編集がよりターゲット化され、望ましくない絡み合いを低減できる。
• BigGAN を StyleGAN 的なレイヤーごとの制御に適用することができ、各レイヤーごとに z 入力を独立させることで再学習なしにスタイル風の編集を可能にする。
• PCA ベースの編集は、いくつかのケースで監督付き手法に近い結果を生み出しつつ、無監督のままである。
• 最初の 100 個の主成分は StyleGANv2 FFHQ の分散の約 85% を捉え、400 個の成分で 98.5% を捉えることから、画像の変動は比較的小さな部分空間に大半があることを示唆している。