[論文レビュー] Factor Analysis, Probabilistic Principal Component Analysis, Variational Inference, and Variational Autoencoder: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jan 3, 2021

Neural Networks and Applications被引用数 14

ひとこと要約

このチュートリアルおよびサーベイ論文は、因子分析、確率的PCA、変分推論、および変分オートエンコーダー（VAEs）の包括的な概要を提供しており、それらの理論的基盤、数学的導出、および相互関係を説明している。これらの生成モデルが潜在変数を用いて次元削減とデータ生成を実現する仕組みを、EM法またはバックプロパゲーションによるEvidence Lower Bound（ELBO）の最大化を通じて解説しており、確率的PCAには閉形式解が存在し、VAEsにはニューラルネットワークベースの学習が適用されている。

ABSTRACT

This is a tutorial and survey paper on factor analysis, probabilistic Principal Component Analysis (PCA), variational inference, and Variational Autoencoder (VAE). These methods, which are tightly related, are dimensionality reduction and generative models. They assume that every data point is generated from or caused by a low-dimensional latent factor. By learning the parameters of distribution of latent space, the corresponding low-dimensional factors are found for the sake of dimensionality reduction. For their stochastic and generative behaviour, these models can also be used for generation of new data points in the data space. In this paper, we first start with variational inference where we derive the Evidence Lower Bound (ELBO) and Expectation Maximization (EM) for learning the parameters. Then, we introduce factor analysis, derive its joint and marginal distributions, and work out its EM steps. Probabilistic PCA is then explained, as a special case of factor analysis, and its closed-form solutions are derived. Finally, VAE is explained where the encoder, decoder and sampling from the latent space are introduced. Training VAE using both EM and backpropagation are explained.

研究の動機と目的

• 次元削減とデータ生成のための密接に関連する生成モデルとしての因子分析、確率的PCA、変分推論、VAEsを統合的チュートリアルおよびサーベイすること。
• Evidence Lower Bound（ELBO）を導出し、潜在変数モデルにおけるEMアルゴリズムを用いたELBOの最大化を説明すること。
• 等方的かつ非相関性のあるノイズ仮定のもとで、確率的PCAが因子分析の特別なケースとして閉形式解をもつことの説明。
• エンコーダ/デコーダネットワークの役割と確率的サンプリングを含めた、変分オートエンコーダー（VAEs）のアーキテクチャとバックプロパゲーションを用いた学習法の説明。
• VAEsにおけるぼやけた画像生成といった主な課題を強調し、敵対的VAEsや階層的バージョンといった関連する改良策について議論すること。

提案手法

• 潜在変数モデルにおける対数尤度の取り扱いが困難であることを踏まえ、Evidence Lower Bound（ELBO）を導出し、その最適化が可能であることを示す。
• 因子分析および確率的PCAにおいて、Eステップ（事後分布推論）とMステップ（パrameter更新）を繰り返すことでパラメータを最適化するEMアルゴリズムを適用する。
• データ空間における等方的かつ非相関性のあるノイズ仮定のもとで、確率的PCAの閉形式解を導出する。
• VAEフレームワークを、近似事後分布を学習するエンコーダと尤度をモデル化するデコーダを持つニューラルネットワークとして導入する。
• 再パラメータ化トリックを用いて、エンドツーエンド最適化が可能なバックプロパゲーションによるVAE学習を説明する。
• 潜在空間が標準正規分布に近づくように、近似事後分布と事前分布のKLダイバージェンスを正則化に用いる。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、潜在変数モデルにおける扱いにくい事後分布を、どのように扱いやすい近似に置き換えるか？
• RQ2 因子分析および確率的PCAにおける数学的導出とEMアルゴリズムの更新式は何か？
• RQ3 特定のノイズ仮定のもとで、確率的PCAがなぜ閉形式解に帰着するのか？
• RQ4 VAEアーキテクチャは、ニューラルネットワーク環境における変分推論をどのように実装するか？
• RQ5 VAEsにおけるEMベースの学習とバックプロパゲーションベースの学習の主な違いと関連性は何か？

主な発見

• ELBOは対数尤度の下界を提供し、潜在変数モデルのパラメータ推定のための中心的な目的関数として機能する。
• 因子分析は、潜在変数の線形変換にガウスノイズを加えた形でデータをモデル化し、EMアルゴリズムにより繰り返しパラメータを推定する。
• 確率的PCAは、独立同分布のガウスノイズを仮定した因子分析の特別なケースであり、主成分方向について閉形式解が得られる。
• VAEsはニューラルネットワークを用いて変分推論を実装し、エンコーダが事後分布を近似し、デコーダが尤度をモデル化することでエンドツーエンド学習が可能になる。
• ELBOの近似と分布制約の影響により、画像生成がぼやけるという課題は存在するが、VAEsは生成モデルとして強力であり、敵対的VAEs や階層的VAEs といった改良版の発展を促した。
• 本論文は、古典的統計モデル（因子分析、PPCA）と現代の深層生成モデル（VAEs）の間の理論的・実用的橋渡しを確立し、それらが共通する確率的基盤を持つことを示した。