[論文レビュー] Nonparametric Inference for Auto-Encoding Variational Bayes

Erik Bodin, Iman Malik+2 more|arXiv (Cornell University)|Dec 18, 2017

Gaussian Processes and Bayesian Inference参考文献 8被引用数 9

ひとこと要約

本稿では、高容量な$Z$空間の表現における依存関係をモデル化する共通の低次元潜在空間$X$を導入することで、生成能力と潜在空間の解釈可能性を分離する非パrametric変分オートエンコーダー（np-VAE）を提案する。$X$を介して$Z$に構造を強制するガウス過程ベースの予測後確率分布を用いることで、解釈可能でありながら高精度な再構成と意味のある補間を実現し、2次元の解釈可能な潜在空間を維持しつつ、最先端の生成品質を達成する。

ABSTRACT

We would like to learn latent representations that are low-dimensional and highly interpretable. A model that has these characteristics is the Gaussian Process Latent Variable Model. The benefits and negative of the GP-LVM are complementary to the Variational Autoencoder, the former provides interpretable low-dimensional latent representations while the latter is able to handle large amounts of data and can use non-Gaussian likelihoods. Our inspiration for this paper is to marry these two approaches and reap the benefits of both. In order to do so we will introduce a novel approximate inference scheme inspired by the GP-LVM and the VAE. We show experimentally that the approximation allows the capacity of the generative bottle-neck (Z) of the VAE to be arbitrarily large without losing a highly interpretable representation, allowing reconstruction quality to be unlimited by Z at the same time as a low-dimensional space can be used to perform ancestral sampling from as well as a means to reason about the embedded data.

研究の動機と目的

• 標準VAEにおける再構成品質と分離可能で解釈可能な表現の間のトレードオフを解消すること。
• 平均場変分推論の制限を克服すること。平均場変分推論は潜在変数間の独立性を強制し、意味のあるデータの整理を妨げる。
• 大規模な$Z$を用いた高容量な生成モデリング（$Z$）を可能にしつつ、可視化や祖先サンプリングに適した低次元で解釈可能な潜在空間（$X$）を維持すること。
• アンモアタイズド推論とモーメントマッチングを活用した効率的な推論スキームを構築し、大規模データセットへのスケーリングを可能にすること。
• $Z$（能力）と$X$（構造）の役割を分離することで、意味のある補間と高精度な生成が共存できることを示すこと。

提案手法

• 高容量な生成のための$Z$と、$Z$変数間の依存関係をモデル化するための$X$という2つの潜在空間を持つ階層的潜在変数モデルを導入する。
• $X$上にガウス過程の事前分布を設定し、条件付き分布$p(z_i | X, z_{\neg i})$を定義することで、潜在変数の依存関係を非パラメトリックにモデル化する。
• 変分近似において、後確率$q(Z|Y)$を観測データ$Y$を介した決定的推論ネットワーク（エンコーダ）に条件付けられた因子分解形で扱う。
• 変分後確率$q_g(Z|Y)$とGPベースの予測後確率$p_s(Z|X)$の間のKLダイバージェンスを含む、修正された下界（ELBO）を導出する。これにより、構造的で整合性のある表現が促進される。
• 完全な後確率推論を必要とせず、最適化を実行可能にするために、$q_g(Z|Y)$と予測後確率$p_s(Z|X)$の間でモーメントマッチングを適用する。
• アンモアタイズド推論を用いる。$X$と$Z$の両方が、それぞれのニューラルネットワーク（エンコーダ）を介してデータから予測され、$X$は$Z$の共通の低次元ボトルネックとして機能する。

実験結果

リサーチクエスチョン

• RQ1 VAEにおいて、高容量な生成モデリングと低次元で解釈可能な潜在空間の必要性を分離することは可能か？
• RQ2 共通の潜在空間$X$を導入し、$Z$変数間の依存関係をモデル化することで、再構成品質と意味のある補間が向上するか？
• RQ3 大規模な$Z$空間を用いて高精度な生成を維持しつつ、低次元の$X$空間で祖先サンプリングと可視化を可能にすることができるか？
• RQ4 提案手法の非パラメトリック推論スキームは、標準VAEと比較して、分離性とサンプル品質の点で優れているか？
• RQ5 $Z$次元が変化しても、特に高次元で可視化が困難な場合に、モデルの性能は頑健であるか？

主な発見

• 非パラメトリックVAEは、500次元の$Z$空間を用いながらも、2次元の$X$空間を維持し、直感的な可視化と祖先サンプリングを可能にした高精度な再構成を達成した。
• MNISTの数字の間で$X$空間における補間は、標準VAEの$Z$空間における補間と比較して、より意味的で信頼性のある中間状態を生成した。
• $X$空間は、$Z$次元が2から1000に変化しても、解釈可能で安定しており、頑健性と一般化性能を示した。
• 大規模な$Z$であっても再構成品質を維持し、標準VAEが高容量のため潜在空間を無視する傾向を回避した。
• 本手法は、$Z$（生成能力）と$X$（構造的解釈可能性）の役割を明確に分離し、高品質な生成と意味のある潜在空間解析の両方を実現した。