[論文レビュー] Variational Auto-Decoder: A Method for Neural Generative Modeling from Incomplete Data

Amir Zadeh, Yao-Chong Lim+2 more|arXiv (Cornell University)|Mar 3, 2019

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、欠損データからのロバストな生成モデリングを可能にする、新たな変分ベイズ手法である変分オートデコーダー（VAD）を提案する。VADは、不安定な入力を直接条件付けしないで、勾配ベースの推論により事後分布のパラメータを最適化することで、直接的な条件付けを回避する。VADは、高い欠損率や分布シフト下でも、VAE や GAN のベースラインを上回る再構成尤度を達成し、欠損率が高くなるにつれて性能差が顕著になる。

ABSTRACT

Learning a generative model from partial data (data with missingness) is a challenging area of machine learning research. We study a specific implementation of the Auto-Encoding Variational Bayes (AEVB) algorithm, named in this paper as a Variational Auto-Decoder (VAD). VAD is a generic framework which uses Variational Bayes and Markov Chain Monte Carlo (MCMC) methods to learn a generative model from partial data. The main distinction between VAD and Variational Auto-Encoder (VAE) is the encoder component, as VAD does not have one. Using a proposed efficient inference method from a multivariate Gaussian approximate posterior, VAD models allow inference to be performed via simple gradient ascent rather than MCMC sampling from a probabilistic decoder. This technique reduces the inference computational cost, allows for using more complex optimization techniques during latent space inference (which are shown to be crucial due to a high degree of freedom in the VAD latent space), and keeps the framework simple to implement. Through extensive experiments over several datasets and different missing ratios, we show that encoders cannot efficiently marginalize the input volatility caused by imputed missing values. We study multimodal datasets in this paper, which is a particular area of impact for VAD models.

研究の動機と目的

• 入力データに欠損値がある場合、および欠損値によって不安定化する状況における、変分ベイズにおける近似事後分布推論の課題に対処すること。
• 補完された入力や最適でない入力に条件付けを行う従来のVAE や GAN の限界を克服し、高い欠損率下でも性能が低下しないようにすること。
• トレーニング時とテスト時の欠損パターンに不一致がある場合でも、尤度下限境界（ELBo）を効果的に最大化できる手法を開発すること。
• 例えば、テスト時に突然欠損率が変化するような、欠損の分布的シフトに対してロバストであること。
• モデルベースの補完に依存しない、スケーラブルで勾配ベースのパrametricエンコーダーに依存しない代替手法を提供すること。

提案手法

• VADは、パrametricエンコーダーを用いずに、変分ベイズフレームワーク内で、既知の事後分布のパラメータを勾配ベース最適化により直接最適化することで、事後分布の近似を定式化する。
• 潜在空間から入力空間へのマッピングを主な学習可能要素として扱い、入力に依存する推論ネットワークの必要性を排除する。
• 事後分布のパラメータは、ELBo における勾配上昇法により更新され、不完全なデータを扱うために確率的バックプロパゲーションが使用される。
• 入力が部分的に観測されていても、完全な真値データにおける尤度を計算できる微分可能再構成目的関数を活用する。
• 欠損状態は、0 が欠損、1 が観測を表す二値マスク $\alpha \in \{0,1\}^d$ を用いてモデル化され、モデルは $x = \alpha \odot \hat{x}$ から $\hat{x}$ の再構成を学習する。
• フレームワークは、ELBo を目的関数として、確率的最適化によりエンドツーエンドで訓練され、推論は最適化された事後分布からのサンプリングによって行われる。

実験結果

リサーチクエスチョン

• RQ1 入力データに欠損がある場合でも、不完全な入力に直接条件付けしない変分推論フレームワークが、ロバストな事後分布近似を達成できるか？
• RQ2 VAD の性能は、欠損データ率が上昇する中で、VAE や GAN ベース手法と比べてどうなるか？
• RQ3 トレーニング時とテスト時の欠損パターンに不一致がある場合でも、VAD は高い再構成尤度を維持できるか？
• RQ4 VAD、VAE、GAN のモデルは、推論時に突然欠損率が変化するような、欠損の分布的シフトに対してどれほど感受性を示すか？
• RQ5 入力が不安定な状況下で、事後分布パラメータの勾配ベース最適化は、パrametricエンコーダーに依存する推論を上回ることができるか？

主な発見

• VAD は、VAE や GAN のベースラインと比べて顕著に高い再構成尤度を達成しており、特に極端な欠損（例：r = 0.9）下で性能差が拡大する。
• VAE や GAN とは異なり、VAD は推論時にさまざまな欠損率下でも一貫した性能を維持し、テスト時の欠損率がトレーニング時のものと異なる場合でも同様である。
• テスト時の欠損状態（トレーニングは完全データ、テストは不完全データ）では、VAD は最小限の性能低下を示すが、VAE や GAIN は特に高い欠損率下で著しい劣化を示す。
• トレーニング時の欠損状態（トレーニングは不完全データ、テストは完全データ）では、VAD は依然としてロバストで安定しており、一方で VAE や GAN の性能はトレーニング時の欠損率が高くなるにつれて著しく低下する。
• Fashion-MNIST における感度分析では、VAD はトレーニングとテスト時の欠損率のさまざまな組み合わせにおいても高い尤度を維持するが、VAE や GAN の性能は対角線外（すなわち、率が異なる場合）で崩壊する。
• Fashion-MNIST におけるインpainting の可視化比較では、VAD は特にブロックワイド欠損パターンや高い欠損率下でも、VAE や GAN よりもより正確で整合性のある再構成を生成する。