[論文レビュー] Latent Space Non-Linear Statistics

Line Kühnel, Tom Fletcher+2 more|arXiv (Cornell University)|May 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 21

ひとこと要約

本稿では、VAE や GAN などの深層生成モデルが学習する潜在空間に対して非線形統計解析を実行するためのフレームワークを提案する。リーマン幾何学を活用することで、測地線主成分分析とブラウン運動ブリッジシミュレーションを用いた最尤推定が可能となり、潜在空間のリーマン計量テンソルを近似するニューラルネットワークを用いることで計算を高速化し、高次元データにおいて顕著な効率性向上を実現する。

ABSTRACT

Given data, deep generative models, such as variational autoencoders (VAE) and generative adversarial networks (GAN), train a lower dimensional latent representation of the data space. The linear Euclidean geometry of data space pulls back to a nonlinear Riemannian geometry on the latent space. The latent space thus provides a low-dimensional nonlinear representation of data and classical linear statistical techniques are no longer applicable. In this paper we show how statistics of data in their latent space representation can be performed using techniques from the field of nonlinear manifold statistics. Nonlinear manifold statistics provide generalizations of Euclidean statistical notions including means, principal component analysis, and maximum likelihood fits of parametric probability distributions. We develop new techniques for maximum likelihood inference in latent space, and adress the computational complexity of using geometric algorithms with high-dimensional data by training a separate neural network to approximate the Riemannian metric and cometric tensor capturing the shape of the learned data manifold.

研究の動機と目的

• 深層生成モデルの低次元潜在空間における非線形多様体統計を用いた統計解析を可能にする。
• 高次元潜在空間におけるリーマン計量や曲率テンソルの評価に伴う計算負荷を克服する。
• 拡散過程を用いた学習済み多様体上で最尤推定による平均を微分可能かつエンドツーエンドで行うフレームワークを開発する。
• MNIST などの実世界データを用いて、2次元 VAE 潜在空間における非線形統計の有効性を示す。
• 補助的なニューラルネットワークを訓練してリーマン計量および共計量テンソルを予測することで、幾何アルゴリズムの高速化を図る。

提案手法

• 生成モデルのエンコーダーマッピングを通じてデータ空間のユークリッド計量を引き戻すことにより、潜在空間をリーマン多様体として扱う。
• 主測地線分析（PGA）を用いて、潜在空間内の主成分の変動モードをモデル化し、PCA を非線形多様体へ一般化する。
• 条件付き拡散過程（ブラウン運動ブリッジ）のシミュレーションを用いて、多様体上の平均の最尤推定を実行する。
• 別個のニューラルネットワークを訓練して、リーマン計量テンソルおよびその逆（共計量）を近似し、幾何的量の高速評価を可能にする。
• Theano Geometry を用いた自動微分により、微分幾何的演算を効率的に表現・計算する。
• 統計的推論を元のデータ空間における高次元計算を避けるために、潜在空間で実行する。

実験結果

リサーチクエスチョン

• RQ1 VAE や GAN が学習する非線形潜在多様体に対して、PCA などの古典的統計的手法をどのように一般化できるか。
• RQ2 ブラウン運動ブリッジなどの確率過程を用いて、リーマン潜在多様体上で平均の最尤推定を効果的に実行できるか。
• RQ3 高次元潜在空間におけるリーマン幾何的量（例：クリスティオーフェル記号、曲率）の評価にかかる計算コストはどの程度で、どのように低減できるか。
• RQ4 ニューラルネットワークを用いて潜在空間におけるリーマン計量を近似することで、幾何的および統計的アルゴリズムの高速化にどの程度寄与できるか。
• RQ5 非線形統計による潜在空間の解析結果は、線形手法と比較して解釈可能性およびデータ表現の質の点でどの程度優れているか。

主な発見

• 提案手法は、MNIST に訓練された 2D VAE 潜在空間に対して、非線形主成分に沿った数字の形状の意味のある変化を明らかにした。
• ブラウン運動ブリッジシミュレーションによる最尤平均推定は、視覚的に整合性のある数字（例：9）に収束し、フリーチェ平均と整合的であることを示し、推定手順の妥当性を裏付けた。
• リーマン計量のニューラルネットワーク近似により、計算コストが数個のオーダー低下し、高次元潜在空間における幾何的演算の高速評価が可能になった。
• 潜在空間におけるスカラー曲率およびリッチ曲率マップは、多様体全体にわたる曲率の変動を示し、複雑な内在的幾何構造を明らかにした。
• 潜在空間における平行移動は、リーマン計量のもとでベクトル長を保存するため、モデルが正しい幾何構造を捉えていることを確認した。
• MLE 最適化中の尤度値は単調に収束したため、拡散に基づく平均推定の最適化が安定的かつ信頼性があることが示された。