[論文レビュー] Do Not Escape From the Manifold: Discovering the Local Coordinates on the Latent Space of GANs

Jaewoong Choi, Jun-Ho Lee+4 more|arXiv (Cornell University)|Jun 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 9

ひとこと要約

本稿では、$ω$-多様体の接空間を用いた局所的幾何構造の分析により、GANの潜在空間における意味的要因分解可能な移動方向を発見する非教師付き手法であるLocal Basisを提案する。$ω$-空間がグローバルに歪んでいること、グローバル手法の成功が限られていること、および局所的移動とGrassmann多様体距離解析により、優れた安定性と分離性を示している。

ABSTRACT

The discovery of the disentanglement properties of the latent space in GANs motivated a lot of research to find the semantically meaningful directions on it. In this paper, we suggest that the disentanglement property is closely related to the geometry of the latent space. In this regard, we propose an unsupervised method for finding the semantic-factorizing directions on the intermediate latent space of GANs based on the local geometry. Intuitively, our proposed method, called Local Basis, finds the principal variation of the latent space in the neighborhood of the base latent variable. Experimental results show that the local principal variation corresponds to the semantic factorization and traversing along it provides strong robustness to image traversal. Moreover, we suggest an explanation for the limited success in finding the global traversal directions in the latent space, especially W-space of StyleGAN2. We show that W-space is warped globally by comparing the local geometry, discovered from Local Basis, through the metric on Grassmannian Manifold. The global warpage implies that the latent space is not well-aligned globally and therefore the global traversal directions are bound to show limited success on it.

研究の動機と目的

• グローバル手法が失敗するような状況でも、頑健で意味的に意味のある潜在空間内での移動方向を特定する課題に対処すること。
• GANの潜在空間の分離性が、その幾何構造に根本的に関連しているかどうかを調査すること。
• 潜在多様体の内在的幾何構造に基づいて、局所的で安定した移動方向を識別する非教師付き手法を開発すること。
• 局所的情報を用いてStyleGAN2の$ω$-空間のグローバル幾何構造を評価し、グローバル分離性のための指標を提案すること。
• GANSpace や SeFa といったグローバル手法の限界的成果を、潜在空間内のグローバル歪みの定量的評価によって説明すること。

提案手法

• Local Basisは、潜在コード$\mathbf{w}$における接空間$T_{\mathbf{w}}\mathcal{W}$の順序付き正規直交基底として定義され、潜在多様体の局所的主変動を表す。
• この手法は、生成器ネットワークのヤコビ行列の特異ベクトルを計算することで、局所的基底の閉形式解を得る。
• Grassmann多様体距離を用いて、異なる潜在コード間の局所的基底を比較し、幾何的整合性や歪みの定量的評価を可能にする。
• 反復的曲線トレース法は、Local Basisに従って潜在多様体に沿った曲線的パスをトレースし、線形補間よりも画像の移動安定性を向上させる。
• グローバル分離性は、Grassmann多様体上での射影距離と測地線距離を用いて、近接したおよび遠く離れた潜在コードからの局所的基底を比較することで評価される。

実験結果

リサーチクエスチョン

• RQ1 GANの潜在空間における意味の分離性は、多様体の背後にある幾何構造と根本的に関連しているか？
• RQ2 局所的領域では有望な結果を示すにもかかわらず、なぜグローバルな移動手法（GANSpace や SeFa）は限定的な成功にとどまるのか？
• RQ3 局所的幾何的解析により、グローバル手法よりもより安定的かつ意味的に意味のある移動方向を特定できるか？
• RQ4 StyleGAN2の$ω$-空間はどの程度グローバルに歪んでいるのか、そしてその歪みがグローバル基底手法の性能にどのように影響するか？
• RQ5 局所的基底に基づく反復的曲線トレースは、線形補間よりもより安定した画像変換を生み出せるか？

主な発見

• Grassmann距離の結果、近接した潜在コード（$|\mathbf{z}' - \mathbf{z}| = 0.1$）からのLocal Basisは、ランダムなコードからのものよりも顕著に一貫性が高く、局所的幾何的安定性を示している。
• ランダムな$\mathbf{w}$とランダムな$O(d_{\mathcal{W}})$間の距離は、近接した$\mathbf{w}$間の距離よりもはるかに大きく、$\mathcal{W}$-空間がグローバルに歪んでいることを裏付けている。
• Local Basisは、GANSpace や SeFa といったグローバル手法よりも、画像品質および意味的整合性の観点でより安定的かつ意味的に意味のある画像移動を実現している。
• Local Basisに基づく反復的曲線トレース法は、線形移動よりも滑らかで一貫性のある画像系列を生成し、より高い耐障害性を示している。
• GANSpace や SeFa が得るグローバル基底は、近接した$\mathbf{w}$との距離に対して高い距離スコアを示しており、局所幾何構造と完全に一致していないことが判明し、グローバル分離性が不完全であることが示された。
• 解析により、グローバル手法の限界的成果は、$\mathcal{W}$-空間のグローバル歪みに起因しており、潜在空間全体にわたり一貫した意味的方向性が保てないことが確認された。