[論文レビュー] StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation

Zongze Wu, Dani Lischinski+1 more|arXiv (Cornell University)|Nov 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 42

ひとこと要約

この論文は StyleSpace（StyleGAN2 のチャネルごとのスタイルパラメータ）を分析し、高く分離可能であることを示し、局所的なスタイルチャネルを発見する手法を導入し、属性依存の分離性指標を用いた属性特異的および実画像の操作を実証します。

ABSTRACT

We explore and analyze the latent style space of StyleGAN2, a state-of-the-art architecture for image generation, using models pretrained on several different datasets. We first show that StyleSpace, the space of channel-wise style parameters, is significantly more disentangled than the other intermediate latent spaces explored by previous works. Next, we describe a method for discovering a large collection of style channels, each of which is shown to control a distinct visual attribute in a highly localized and disentangled manner. Third, we propose a simple method for identifying style channels that control a specific attribute, using a pretrained classifier or a small number of example images. Manipulation of visual attributes via these StyleSpace controls is shown to be better disentangled than via those proposed in previous works. To show this, we make use of a newly proposed Attribute Dependency metric. Finally, we demonstrate the applicability of StyleSpace controls to the manipulation of real images. Our findings pave the way to semantically meaningful and well-disentangled image manipulations via simple and intuitive interfaces.

研究の動機と目的

• StyleGAN2 潜在空間（Z、W、S）における分離性を実データで学習されたモデルで評価する。
• 特定の画像領域を制御する局所的に活性な StyleSpace チャネルを同定・特徴付ける。
• 属性と領域を制御するチャネルを検出するための、教師なしまたは最小限の教師付き手法を開発する。
• Manipulations の分離性を定量化する属性依存性指標（AD）を提案する。
• StyleSpace コントロールの実画像操作と反転戦略への適用可能性を示す。

提案手法

• FFHQ 上で Z、W、StyleSpace S の潜在空間を DCI 指標（分離性、完結性、情報量）で定量的に比較する。40 個の CelebA ベースの分類器を用いる。
• StyleSpace チャネルを通じて逆伝播することで勾配ベースの局在化を行い、勾配マップを閾値処理して意味的マップとの重なりを測定し、局所的に活性なチャネルを特定する。
• ターゲット属性を制御するチャネルを検出する簡易な exemplar ベースの手法を提案し、 exemplar 平均スタイルベクトルを母集団統計と比較して識別する。
• Manipulations の度合いを他属性へ及ぼす影響を定量化する指標として Attribute Dependency（AD）を導入し、手法間比較を可能にする。
• FFHQ、LSUN Car、LSUN Bedroom のデータセットにおける局在化と属性制御を、意味的マップのセグメンテーションネットワークを用いて評価する。
• 実画像の反転戦略について W、W+、S 空間で議論し、実画像操作のためのハイブリッド手法（エンコーダ初期化 + スパース潜在最適化）を提案する。

実験結果

リサーチクエスチョン

• RQ1 StyleSpace S は real データで学習された StyleGAN2 に対して Z、W、または W+ よりも分離性が高いのか？
• RQ2 それぞれ異なる視覚属性や領域を制御する局所的に活性な StyleSpace チャネルの大規模な集合を同定できるのか？
• RQ3 少数の正例だけでターゲット属性を制御するチャネルを信頼して識別できるのか？
• RQ4 StyleSpace は実画像において GANSpace や InterFaceGAN よりも分離性の高い属性操作を実現できるのか？
• RQ5 実画像を StyleSpace 内でいかに反転・操作して現実感と制御性を両立させるのか？

主な発見

• StyleSpace S は FFHQ における DCI 指標で Z、W、W+ よりも分離性と完結性が高く、情報量は高いが識別要因ではない。
• 局所的に活性な StyleSpace チャネルの大規模な集合（FFHQ モデルでは 1871/6048 の非 tRGB チャネル）が、髪型、口元、衣服、ベッド、車輪などの局所的意味領域を高い領域局在性と分離性を持って制御する。
• 属性特異的チャネルはわずか 10–30 の正例で同定でき、 locally-active チャンネルに限定した場合でもトップ5 検出精度が高い（いくつかのケースで 92% 以上）。
• StyleSpace ベースの操作は GANSpace や InterFaceGAN よりも Attribute Dependency（AD）が低く、実画像における編集がより分離的であることを示す。
• S 空間での実画像反転は W、W+、S の中で最も再構成忠実度が高く、短い最適化シーケンスと組み合わせるとより自然な操作を維持できる。
• 提案された勾配重なり合い法と exemplar 平均法は、意味編集のための解釈可能で局所的な StyleSpace チャネルを発見・ランク付けする実用的でスケーラブルな手段を提供する。