[論文レビュー] Improved StyleGAN Embedding: Where are the Good Latents?

Peihao Zhu, Rameen Abdal+3 more|arXiv (Cornell University)|Dec 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 59

ひとこと要約

本論文は新しい PN 空間を用いて良い StyleGAN 潜在変数がどこに存在するかを分析し、PN+-ベースの正則化を提案して反転埋め込みを改善し、最先端手法と比べて再構成と編集のトレードオフを向上させる。

ABSTRACT

StyleGAN is able to produce photorealistic images that are almost indistinguishable from real photos. The reverse problem of finding an embedding for a given image poses a challenge. Embeddings that reconstruct an image well are not always robust to editing operations. In this paper, we address the problem of finding an embedding that both reconstructs images and also supports image editing tasks. First, we introduce a new normalized space to analyze the diversity and the quality of the reconstructed latent codes. This space can help answer the question of where good latent codes are located in latent space. Second, we propose an improved embedding algorithm using a novel regularization method based on our analysis. Finally, we analyze the quality of different embedding algorithms. We compare our results with the current state-of-the-art methods and achieve a better trade-off between reconstruction quality and editing quality.

研究の動機と目的

• StyleGAN 空間の潜在コードの分布と幾何を理解し、良い潜在コードがどこに存在するのかを特定する。
• 再構成性能を向上させつつ編集可能性を維持する正則化埋め込み手法を提案する。
• 高容量の W+ 空間に分析を拡張してより良い逆推定を実現する。
• 従来法に対する包括的で定量的かつユーザー主導の評価を提供する。

提案手法

• PN 空間を潜在分布がより等方的でモデル化しやすいホワイトニングされた潜在空間として導入する。
• StyleGAN2/I2S フレームワークで用いられる W+ (18x512) の潜在表現に対して PN+ 空間へ拡張する（18 個の w_i コードを展開）。
• 再構成を犠牲にすることなく高密度領域へ埋め込みをバイアスする Mahalanobis 距離 (d_M) に基づく PN+ 空間での密度ベースの正則化を提案する。
• PN+ 空間での結合損失 L = LPIPS + L2 に、PN+-変換潜在コード v のノルムの二乗正則化項 lambda * ||v||^2 を追加した正則化を用いて埋め込みを訓練する。
• 再構成品質のための LPIPS 視覚損失と、再構成の品質を高めるダウンサンプリング戦略を使用する（Generator 空間では双三次、参照には Lanczos）。
• II2S（提案手法）を、再構成・編集（姿勢、年齢、照明）及び条件埋め込みタスクで、複数のベースライン（I2S、PULSE、StyleGAN2、StyleGAN2Encoder、pSp）に対して評価する。

実験結果

リサーチクエスチョン

• RQ1 StyleGAN 潜在空間で高品質で実用的な潜在コードはどこに存在するのか？
• RQ2 PN/PN+ 空間での正則化埋め込みは、既存法と比べて編集可能性を維持しつつ再構成を改善できるのか？
• RQ3 提案埋め込みは編集タスク（姿勢、年齢、照明）および条件付きタスク（色彩付与、欠落補完、超解像）でどう機能するのか？
• RQ4 正則化強度 lambda が再構成と編集品質に及ぼす影響は、ヒトの評価と知覚指標の観点からどうなるのか？

主な発見

• PN 空間は潜在コードの品質が原点からの距離と相関し、PN 距離はマハラノビス距離に対応することを示す。
• PN+-ベースの正則化は潜在空間の高密度領域へ埋め込みをバイアスし、再構成の損失はほとんどないまま編集可能性を改善する。
• II2S は、複数の指標とタスクで最先端ベースラインに対して再構成と編集品質の良好なトレードオフを達成する。
• ユーザースタディは II2S を他の競合法より編集タスクやいくつかの条件付き埋め込みタスクで支持する一方、再構成のみを評価した場合には I2S が時に優れている。
• 条件付き埋め込みタスク（色彩付与、欠落補完、超解像）では II2S が競合他社より優れていることが多いが、指標に応じてグラウンドトゥルースや他のベースラインが有利になるケースもある。