[論文レビュー] VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data

Chao Ma, Sebastian Tschiatschek+3 more|arXiv (Cornell University)|Jun 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 13

ひとこと要約

VAEM は、カテゴリカル、順序、連続特徴を含む異種混合型データ—例えば、カテゴリカル、順序、連続特徴—のための変分オートエンコーダー（VAE）を改善する2段階の深層生成モデルである。まず、それぞれの次元の分布を正規化するために、次元別 VAE を学習し、その後、それらの潜在表現間の依存関係をモデル化する。標準的な VAE やベースラインと比較して、データ生成、欠損値補完、逐次的特徴選択の面で優れた性能を発揮する。

ABSTRACT

Deep generative models often perform poorly in real-world applications due to the heterogeneity of natural data sets. Heterogeneity arises from data containing different types of features (categorical, ordinal, continuous, etc.) and features of the same type having different marginal distributions. We propose an extension of variational autoencoders (VAEs) called VAEM to handle such heterogeneous data. VAEM is a deep generative model that is trained in a two stage manner such that the first stage provides a more uniform representation of the data to the second stage, thereby sidestepping the problems caused by heterogeneous data. We provide extensions of VAEM to handle partially observed data, and demonstrate its performance in data generation, missing data prediction and sequential feature selection tasks. Our results show that VAEM broadens the range of real-world applications where deep generative models can be successfully deployed.

研究の動機と目的

• カテゴリカル、順序、連続特徴を含む実世界のデータセットにおける標準的 VAE の性能の低さを解消すること。
• 多様な特徴タイプが混在するデータにおける尤度寄与の違いに起因する最適化の課題を克服すること。
• 異種特徴間でより一様な潜在表現を学習することで、データ生成と欠損値補完の性能を向上させること。
• 部分的に観測された状況下での条件付き生成を活用し、効果的な逐次的アクティブ情報収集を可能とすること。
• VAEM を欠損値処理に対応させるとともに、条件付き生成をサポートすることで、実世界の意思決定における実用的導入を強化すること。

提案手法

• 2段階アーキテクチャの提案：まず、各データ次元に対して1次元の VAE（マージナル VAE）を独立して学習し、周辺分布をモデル化する。
• マージナル VAE の潜在コードを、次段階の VAE に入力し、次元間の依存関係を捉える。
• 各特徴タイプごとに別々の尤度関数（例：連続特徴にはガウス分布、バイナリ特徴にはベルヌーイ分布、順序特徴にはカテゴリカル分布）を用いたアンモライズド変分推論を適用する。
• 特徴タイプごとの尤度寄与のバランスをとるために、尤度の重み付けを調整した変分下界（ELBO）を最適化する。
• 欠損値処理に対応するため、エンコーダーを用いて不完全な観測から潜在コードを推論し、欠損値を再構築する。
• 逐次的特徴選択のためのアルゴリズムを導出する。条件付き生成における情報量の増加が最大となる特徴を反復的に選択する。

実験結果

リサーチクエスチョン

• RQ1 標準的 VAE と比較して、2段階の VAE アーキテクチャは異種混合型データのモデリングを改善できるか？
• RQ2 マージナル分布のばらつきが著しい場合でも、VAEM は多様な特徴タイプにわたる現実的なサンプルを生成できるか？
• RQ3 VAEM は、ベースラインの VAE やその変種と比較して、欠損値補完の精度をどの程度向上できるか？
• RQ4 VAEM は、部分的に観測されたデータ設定において、逐次的アクティブ情報収集に効果的に利用できるか？
• RQ5 2段階設計は、エンドツーエンドの VAE と比較して、より優れた事後分布近似と低い KL 収束をもたらすか？

主な発見

• VAEM は、5つの実世界データセットにおいて、標準的 VAE やベースラインを上回るデータ生成性能を示し、負の対数尤度（NLL）が最低となった。
• Bank データセットでは、VAEM の補完誤差は 0.111 ± 0.00 であり、VAE（0.116）と VAE-balanced（0.117）を著しく下回り、平均順位は 1.00 であった。
• Avocado データセットでは、VAEM が最も低い補完誤差（0.145 ± 0.00）を記録し、VAE-extended（0.145）と VAE-HI（0.146）を上回った。
• VAEM のマージナル VAE では、ELBO と対数尤度の値がほぼ同一（例：-1.30 vs. -1.30）であり、KL 収束が最小限に抑えられた高品質な事後分布近似が実現された。
• VAEM が生成したサンプルは、周辺分布とペアワイズ依存関係の両方を正確に捉えており、変数タイプにわたる正しい密度パターンを示すペアプロットによって確認された。
• 補完性能において、VAEM は全データセットで平均順位 1.00 を達成し、欠損値回復の面ですべてのベースラインを一貫して上回る優位性を示した。