[論文レビュー] Designing an Encoder for StyleGAN Image Manipulation

Omer Tov, Yuval Alaluf+3 more|arXiv (Cornell University)|Feb 4, 2021

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、実画像をStyleGANの潜在空間（W）に逆方向に変換するための新規エンコーダーe4eを提案する。スタイルベクトルの分散を低く保ち、元のW分布に近づけることで、再構築精度と編集可能性のバランスを図り、わずかな歪みの増加でさえも、車や馬など多様なドメインにおいて優れた知覚的品質と現実的な編集を実現する。

ABSTRACT

Recently, there has been a surge of diverse methods for performing image editing by employing pre-trained unconditional generators. Applying these methods on real images, however, remains a challenge, as it necessarily requires the inversion of the images into their latent space. To successfully invert a real image, one needs to find a latent code that reconstructs the input image accurately, and more importantly, allows for its meaningful manipulation. In this paper, we carefully study the latent space of StyleGAN, the state-of-the-art unconditional generator. We identify and analyze the existence of a distortion-editability tradeoff and a distortion-perception tradeoff within the StyleGAN latent space. We then suggest two principles for designing encoders in a manner that allows one to control the proximity of the inversions to regions that StyleGAN was originally trained on. We present an encoder based on our two principles that is specifically designed for facilitating editing on real images by balancing these tradeoffs. By evaluating its performance qualitatively and quantitatively on numerous challenging domains, including cars and horses, we show that our inversion method, followed by common editing techniques, achieves superior real-image editing quality, with only a small reconstruction accuracy drop.

研究の動機と目的

• 事前学習済みのStyleGANジェネレータを用いた実画像の編集に向けた挑戦に応えるため、正確に潜在空間への逆方向変換を実現すること。
• StyleGANの潜在空間に内在する歪み-編集可能性および歪み-知覚のトレードオフを特定・分析すること。
• 編集可能性と知覚的品質を最大化するため、元のW空間に近い位置に潜在コードを逆方向に変換するエンコーダーを設計すること。
• Wに近い位置に潜在コードを配置することで、わずかな再構築の妥協が伴っても、より優れた編集性能が得られることを示すこと。
• 顔以外の多様な画像ドメインに一般化可能な、効果的な逆方向変換手法を提供すること。

提案手法

• 実画像を分散が低いスタイルベクトルと、Wの分布に近い各ベクトルを持つ潜在コードにマップする新しいエンコーダー・アーキテクチャe4eを提案し、学習する。
• Nitzanら[27]の敵対的訓練を改変し、各スタイルベクトルがWの分布内に位置するよう促す。これは、実際のWコードを学習したディスクリミネーターを用いる。
• 段階的な訓練スケジュールを実装し、訓練中にスタイルベクトル間の分散を徐々に増加させることで、学習の安定化と一般化性能の向上を図る。
• マルチスケールの知覚的損失とL2再構築損失を用い、逆方向変換中に画像の忠実性と意味的整合性のバランスを取る。
• 標準的な編集技術（例：アイデンティティ、年齢、ポーズ、色の編集）と統合し、下流の編集品質を評価する。
• 表現力の高い拡張W+空間（W*）を活用しつつ、逆方向変換がWに近づくように制約を課し、編集可能性を維持する。

Figure 2 : An illustration of our definitions for a 1-dimensional $\mathcal{W}$ and for $k=2$ (i.e., $\mathcal{W}^{2}$ ). The diagonal line represents $\mathcal{W}_{*}$ since the two coordinates of each point on it are equal. The pink points are sampled from $\mathcal{W}$ , which here is represented

実験結果

リサーチクエスチョン

• RQ1 逆方向変換された潜在コードが元のW空間にどれほど近いかは、StyleGANにおける編集可能性と知覚的品質にどのように影響するか？
• RQ2 StyleGANの潜在空間において、再構築歪み、知覚的品質、編集可能性の間にはどのようなトレードオフが存在するか？
• RQ3 実画像を、再構築可能かつ高編集性を有する潜在空間領域に体系的に逆方向に変換するエンコーダーを設計できるか？
• RQ4 再構築忠実度と編集品質の観点から、提案手法のエンコーダーはpSp や IDInvert などの既存の逆方向変換手法と比べてどの程度優れているか？
• RQ5 提案手法は、車や馬のような顔以外の多様なドメインにどの程度一般化可能か？

主な発見

• e4eエンコーダーは、特に車や馬のような複雑なドメインにおいて、pSp や IDInvert と比較して顕著に優れた知覚的品質とより現実的な編集を達成している。
• 顔領域ではL2歪みがわずかに増加（0.05 vs. 0.03）しているものの、e4eは質的結果により自然なテクスチャーや色が再現されており、より優れた知覚的品質を示している。
• 馬のドメインでは、FIDが15.44、SWDが26.83と、IDInvert（FID 18.18、SWD 18.94）およびpSp（FID 21.00、SWD 24.46）を上回る知覚的指標を達成している。
• 歪み-編集可能性および歪み-知覚のトレードオフは、潜在コードが元のW空間にどれほど近いかに直接的に依存している。
• 段階的訓練と敵対的正則化は、分散が小さくWに近いコードを効果的に生成し、高い編集可能性を実現する。
• 人間評価により、わずかな再構築誤差の増加にもかかわらず、e4eが生成する編集画像はpSp や IDInvert に比べてより視覚的に魅力的で現実的であると確認された。

Figure 3 : As in Figure 2 , $\mathcal{W}$ is 1-dimensional and $k=2$ , that is $\mathcal{W}^{k}=\mathcal{W}^{2}$ . The main diagonal represents $\mathcal{W}_{*}$ , and warmer colors correspond to higher densities of $\mathcal{W}^{k}$ . As one traverses the space in parallel to the red arrow and appr