[論文レビュー] Gaussian Process Prior Variational Autoencoders

Francesco Paolo Casale, Adrian V. Dalca+3 more|arXiv (Cornell University)|Oct 28, 2018

Gaussian Processes and Bayesian Inference参考文献 48被引用数 19

ひとこと要約

本論文では、順序付きまたは構造的データにおいて、標準的なVAEのi.i.d.潜在変数事前分布をガウス過程事前分布に置き換えることで、データサンプル間の相関をモデル化する生成モデルであるGaussian Process Prior Variational Autoencoder (GPPVAE)を提案する。低ランク共分散構造と新規の確率的バックプロパゲーション戦略を活用することで、メモリ効率が良く、効率的な学習が可能となり、回転MNISTおよび顔ポーズデータセットにおける画像生成および補間タスクで、CVAEや標準VAEを上回る最先端の性能を達成する。

ABSTRACT

Variational autoencoders (VAE) are a powerful and widely-used class of models to learn complex data distributions in an unsupervised fashion. One important limitation of VAEs is the prior assumption that latent sample representations are independent and identically distributed. However, for many important datasets, such as time-series of images, this assumption is too strong: accounting for covariances between samples, such as those in time, can yield to a more appropriate model specification and improve performance in downstream tasks. In this work, we introduce a new model, the Gaussian Process (GP) Prior Variational Autoencoder (GPPVAE), to specifically address this issue. The GPPVAE aims to combine the power of VAEs with the ability to model correlations afforded by GP priors. To achieve efficient inference in this new class of models, we leverage structure in the covariance matrix, and introduce a new stochastic backpropagation strategy that allows for computing stochastic gradients in a distributed and low-memory fashion. We show that our method outperforms conditional VAEs (CVAEs) and an adaptation of standard VAEs in two image data applications.

研究の動機と目的

• 標準VAEがサンプル間でi.i.d.な潜在表現を仮定するという制約は、時系列データや複数の被験者やポーズからの画像といった構造的データでは現実的でないため、これを是正すること。
• 通常、完全な共分散行列により立方体の計算複雑度（O(N³)）を示すガウス過程事前分布を備えたVAEのための、スケーラブルでメモリ効率の良い推論手法を開発すること。
• 潜在表現上の構造的カーネル関数を学習することで、高次元データにおける時間的要因、オブジェクトID、ポーズなどの多段階の相関を効果的にモデル化すること。
• VAEにGP事前分布を組み込むことで、標準VAEやCVAEと比較して、分布外生成および補間タスクにおける性能が向上することを実証すること。

提案手法

• VAEのi.i.d.事前分布を、潜在コード上のガウス過程事前分布に置き換えるGPPVAEモデルを導入。カーネル関数を通じて、サンプル間の相関をモデル化可能となる。
• GP共分散行列の低ランク因子分解を採用し、計算複雑度をO(N³)からO(NK²)に低減（K ≪ Nは近似のランク）。
• GP事前分布が引き起こす非i.i.d.構造にもかかわらず、不偏でミニバッチベースの勾配推定が可能な、新規の確率的バックプロパゲーション戦略を開発。
• 視覚的特徴（例：回転、ポーズ）とオブジェクト固有の特徴（例：ID）を組み合わせた複合カーネル関数を用い、潜在空間における多段階相関をモデル化。
• アンモレイティド推論ネットワークを用いた変分推論を採用し、確率的勾配降下法によりエンコーダ、デコーダ、GPハイパーパrameterを同時に最適化。
• VAEとGPの両成分を一括で最適化するエンドツーエンドの訓練スキーム（GPPVAE-joint）と、比較用の分離型バージョン（GPPVAE-dis）を採用。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程事前分布による潜在空間内のサンプル間相関のモデル化は、順序付きまたは構造的画像データにおける生成モデル性能を向上させ得るか？
• RQ2 完全なGP推論の高コストな計算負荷を考慮すると、GP事前分布を備えたVAEにおける効率的かつスケーラブルな推論はどのように達成できるか？
• RQ3 GPPVAEモデルは、構造的データにおけるオブジェクトIDや視覚的要因（例：ポーズや回転）といった要因を意味的に分離された表現として学習できるか？
• RQ4 CVAE や線形VAEといった強力なベースラインと比較して、GPPVAEの再構成性能および一般化性能はどの程度向上しているか？

主な発見

• 回転MNISTデータセットでは、GPPVAE-jointがテストセットMSE 0.0280 ± 0.0008を達成し、GPPVAE-dis（0.0306 ± 0.0009、p < 0.02）および他のベースラインを顕著に上回った。
• 顔ポーズデータセットでは、GPPVAE-jointがMSE 0.0281 ± 0.0008を達成し、CVAE や LIVAE を上回ったが、GPPVAE-dis（0.0298 ± 0.0008）と有意差は認めなかった。
• GPPVAE-jointは、オブジェクト（ID）と視覚的要因（ポーズ）の共分散を成功裏に分離し、顔データセットにおいてそれぞれの要因に対して明確なカーネル関数を学習した。
• 標準VAEとは異なる変分パラメータを学習したため、GP事前分布がVAEの潜在空間を一般化性能向上に向けて適応させる役割を果たしていることが示唆された。
• 未学習の回転やポーズに対する外挿予測では、GPPVAE-jointがベースラインよりもより現実的かつ正確な画像を生成した。
• 提案された確率的バックプロパゲーション戦略により、メモリ効率が良く、分散型学習が可能となり、大規模な画像データセットへの適用が可能となった。