[論文レビュー] The Geometry of Deep Generative Image Models and its Applications

Binxu Wang, Carlos R. Ponce|arXiv (Cornell University)|Jan 15, 2021

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

本稿では、ヘッセ行列に基づく固有値分解を用いて画像多様体のリーマン計量を計算することにより、深層生成画像モデル（GAN）の潜在空間を幾何学的枠組みで分析する手法を提案する。GANの潜在空間が顕著に非等方的かつ均一的であることが明らかになり、上位の固有ベクトルが解釈可能な画像変換に対応しており、アーキテクチャに依存しない効率的なGAN逆問題と、無教師的かつ意味のある方向の発見が可能になる。

ABSTRACT

Generative adversarial networks (GANs) have emerged as a powerful unsupervised method to model the statistical patterns of real-world data sets, such as natural images. These networks are trained to map random inputs in their latent space to new samples representative of the learned data. However, the structure of the latent space is hard to intuit due to its high dimensionality and the non-linearity of the generator, which limits the usefulness of the models. Understanding the latent space requires a way to identify input codes for existing real-world images (inversion), and a way to identify directions with known image transformations (interpretability). Here, we use a geometric framework to address both issues simultaneously. We develop an architecture-agnostic method to compute the Riemannian metric of the image manifold created by GANs. The eigen-decomposition of the metric isolates axes that account for different levels of image variability. An empirical analysis of several pretrained GANs shows that image variation around each position is concentrated along surprisingly few major axes (the space is highly anisotropic) and the directions that create this large variation are similar at different positions in the space (the space is homogeneous). We show that many of the top eigenvectors correspond to interpretable transforms in the image space, with a substantial part of eigenspace corresponding to minor transforms which could be compressed out. This geometric understanding unifies key previous results related to GAN interpretability. We show that the use of this metric allows for more efficient optimization in the latent space (e.g. GAN inversion) and facilitates unsupervised discovery of interpretable axes. Our results illustrate that defining the geometry of the GAN image manifold can serve as a general framework for understanding GANs.

研究の動機と目的

• GANによって生成される画像多様体の幾何的構造をアーキテクチャに依存しない方法で分析すること。
• 解釈性と最適化を制限する高次元かつ非線形なGANの潜在空間を理解する課題に取り組むこと。
• リーマン計量の上位固有ベクトルが意味のある画像変換に対応することを明らかにすることで、GANにおける解釈可能な分離可能な方向に関する先行研究を統合すること。
• 計量テンソルから導かれる幾何的事前知識を用いて、より効率的なGAN逆問題と無教師的解釈可能な軸の発見を可能にすること。
• 再訓練やエンコーダーネットワークを必要としない、GANの理解のための後処理分析ツールを提供すること。

提案手法

• 生成器出力のヘッセ行列を用いて、潜在コード $\mathbf{z}$ に関して画像距離関数を微分することで、GANによって生成される画像多様体のリーマン計量テンソル $H$ を計算する。
• 潜在空間内の複数の点で計量テンソル $H$ の固有値分解を実行し、画像変動の主成分方向を同定する。
• 画像空間におけるリーマン距離を定義し、それを潜在空間に引き戻して微分幾何的構造を構築する。
• エンコーダーネットワークやアーキテクチャの変更を必要とせず、事前学習済みのGAN（例：StyleGAN2, BigGAN）に本手法を適用する。
• 計量テンソル $H$ の固有スペクトルと固有ベクトルを用いて、解釈可能な画像変換を同定・順序付けし、より高い固有値は画像変動の大きさを示す。
• 同定された軸が上位固有空間にどれだけ投影されるかを測定することで、先行研究（例：Peebles et al., 2020）と比較する。

実験結果

リサーチクエスチョン

• RQ1 GANによって生成される画像多様体の内在的幾何的構造は、特に非等方性と均一性の観点からどのように特徴づけられるか？
• RQ2 潜在空間における変動の主成分方向は、顔の属性、色、形状の変化などの解釈可能な画像変換とどのように関係しているか？
• RQ3 ネットワークアーキテクチャに依存しない方法で、GAN多様体のリーマン計量テンソルを効率的かつ正確に計算できるか？
• RQ4 これまでに同定された解釈可能な軸が、ヘッセ行列に基づく計量の上位固有ベクトルとどの程度一致するか？
• RQ5 計量テンソルから得られる幾何的知見は、GAN逆問題や無教師的分離といった下流タスクを改善できるか？

主な発見

• GANによって生成される画像多様体は顕著に非等方的であり、画像変動が驚くほど少ない主要な軸に集中している。これは、潜在空間内の異なる位置に対しても同様に観察される。
• 空間は均一的である。計量テンソルの主成分固有ベクトルが、潜在コードの位置によらず類似しているため、一貫した変換方向が存在する。
• 上位固有空間の大部分は、顔の属性、色、形状などの解釈可能な画像変換に対応しており、微小成分は圧縮可能である。
• 上位10個の固有ベクトルが、先行研究で同定されたほとんどの解釈可能な軸の95％以上のエネルギーを捉え、90％のケースで投影パワーが0.95を超える。
• 本手法では、1点あたり12秒でヘッセ行列とその固有値分解を計算可能であり、反復的最適化を要する代替手法の1エポックあたり40分に比べて著しく高速である。
• 先行研究で解釈可能とされた軸は、上位固有空間への平均投影パワーが0.95±0.05と高く一致したが、非解釈可能な軸は上位10次元の固有空間内でのパワーが僅か0.103±0.141にとどまった。