[論文レビュー] Gaussian Copula Variational Autoencoders for Mixed Data

Suwon Suh, Seungjin Choi|arXiv (Cornell University)|Apr 18, 2016

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 8

ひとこと要約

本稿では、ガウスコプゥラ・フレームワークにおけるランク1近似共分散行列を用いて局所的依存構造をモデル化することで、連続的およびカテゴリカルな混合データにおける表現学習を向上させるガウスコプゥラ変分オートエンコーダー（GCVAE）を提案する。VAE-ROCをコプゥラベースの依存構造モデリングおよび離散変数の連続的拡張を用いて拡張することで、標準VAEと比較して実世界のデータセットにおいて顕著に優れた対数尤度を達成する。

ABSTRACT

The variational autoencoder (VAE) is a generative model with continuous latent variables where a pair of probabilistic encoder (bottom-up) and decoder (top-down) is jointly learned by stochastic gradient variational Bayes. We first elaborate Gaussian VAE, approximating the local covariance matrix of the decoder as an outer product of the principal direction at a position determined by a sample drawn from Gaussian distribution. We show that this model, referred to as VAE-ROC, better captures the data manifold, compared to the standard Gaussian VAE where independent multivariate Gaussian was used to model the decoder. Then we extend the VAE-ROC to handle mixed categorical and continuous data. To this end, we employ Gaussian copula to model the local dependency in mixed categorical and continuous data, leading to {\em Gaussian copula variational autoencoder} (GCVAE). As in VAE-ROC, we use the rank-one approximation for the covariance in the Gaussian copula, to capture the local dependency structure in the mixed data. Experiments on various datasets demonstrate the useful behaviour of VAE-ROC and GCVAE, compared to the standard VAE.

研究の動機と目的

• デコーダーにおける独立な多変量ガウス分布の仮定により、複雑なデータマンフォールドを捉えきれない標準VAEの限界を解消すること。
• 潜在変数の関数として学習される主成分方向を用いて、局所的マンフォールド構造をモデル化し、表現学習を向上させること。
• パラメータ数を抑えた共分散パrameterizationを組み合わせたガウスコプゥラを用いて、混合カテゴリカルおよび連続的データを扱えるようにVAEを拡張すること。
• 潜在変数に依存する滑らかな依存構造モデリングを、連続的拡張および無限混合モデルを用いて実現すること。

提案手法

• 潜在変数を関数として学習するニューラルネットワークを介して、主成分方向ベクトルのランク1外積としてデコーダーの共分散行列をモデル化するVAE-ROCを提案する。
• VAE-ROCをガウスコプゥラを用いて混合データに拡張し、周辺分布と依存構造を同時にモデル化するGCVAEを導入する。
• コプゥラフレームワーク内での離散変数の取り扱いに連続的拡張を適用し、ジャイターディド一様分布のモンテカルロサンプルを用いて微分可能な尤度推定を可能にする。
• コプゥラ共分散行列のランク1近似を用いることで、局所的依存構造を捉えつつパラメータ効率を確保する。
• 各成分が潜在変数によってインデックス付けられる局所的依存構造に対応する潜在空間上の無限混合モデルを採用する。
• 再パラメータライゼーション勾配を用いて変分下界を最適化する確率的勾配変分ベイズにより、モデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 デコーダーにおける局所的主成分方向のモデル化は、標準VAEと比較してデータマンフォールド表現を改善できるか？
• RQ2 コプゥラベースのフレームワークは、VAEフレームワーク内での混合カテゴリカルおよび連続的データの依存関係を効果的にモデル化できるか？
• RQ3 連続的拡張の使用は、微分可能なVAE設定内での離散変数の尤度推定を効果的に可能にするか？
• RQ4 コプゥラ共分散行列のランク1近似は、表現力は維持しつつパラメータ数を削減できるか？
• RQ5 GCVAEは、標準VAEと比較して実世界の混合データベンチマークでより高い対数尤度を達成できるか？

主な発見

• UCI Autoデータセットにおいて、GCVAEはテスト対数尤度 -189.344 ± 4.599 を達成し、標準VAEの -200.289 ± 3.751 より顕著に優れた性能を示した。
• UCI SPECTデータセットでは、GCVAEが -134.579 ± 2.621 の対数尤度を達成したのに対し、VAEは -144.195 ± 3.443 であった。密度推定の向上が確認された。
• GCVAEにおけるケンダールのτの可視化から、馬力と重量の間に一貫した対応関係（concordanter pairs）が観察され、歴史的トレンドを反映してシリンダ数とモデル年式の間では非一貫対応（discordant pairs）が見られた。
• 2次元潜在空間の10×10サンプルを用いた可視化により、VAE-ROCは標準VAEと比較して滑らかで構造的なマンフォールドを捉えていた。
• GCVAEは、潜在空間全体にわたり滑らかに変化する局所的依存構造を効果的にモデル化できており、データマンフォールド構造の変化を反映していた。
• 10回の異なる初期化での実験により、GCVAEは全実行で一貫した性能向上が確認され、対数尤度推定の分散も低かった。