[論文レビュー] Variational Autoencoder with Arbitrary Conditioning

О. А. Иванов, Michael Figurnov+1 more|arXiv (Cornell University)|Jun 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 67

ひとこと要約

本論文は VAEAC を提案する。VAEAC は任意の観測特徴の部分集合を条件として取り、欠損した特徴を一度にサンプリングできる変分オートエンコーダであり、実数データおよびカテゴリデータに対応し、欠測データの補完と画像のインペイントを可能にする。

ABSTRACT

We propose a single neural probabilistic model based on variational autoencoder that can be conditioned on an arbitrary subset of observed features and then sample the remaining features in "one shot". The features may be both real-valued and categorical. Training of the model is performed by stochastic variational Bayes. The experimental evaluation on synthetic data, as well as feature imputation and image inpainting problems, shows the effectiveness of the proposed approach and diversity of the generated samples.

研究の動機と目的

• 任意の条件マスク b に対して全ての条件付き分布 p(x_b|x_{1-b}, b) を学習するために VAE フレームワークを一般化する。
• 実数値およびカテゴリ特徴を含むデータセットを単一の確率モデル内で扱う。
• 観測された特徴を前提として未観測特徴を一度にサンプルする能力を実現し、欠測データのシナリオを含む。
• 特徴の補完と画像のインペイントタスクで有効性を示し、多様で現実的なサンプルを提示する。

提案手法

• 事前ネットワーク p_psi(z|x_{1-b}, b) と生成ネットワーク p_theta(x_b|z, x_{1-b}, b) を用いた生成過程を定義する。
• p_{psi,theta}(x_b|x_{1-b}, b)=E_{z~p_psi(z|x_{1-b},b)}[p_theta(x_b|z,x_{1-b},b)] をモデル化する。
• ニューラルネットワークでパラメータ化された事前分布 p_psi(z|x_{1-b}, b) を用いてガウス潜在変数 z を用いる。
• x_b の実数成分とカテゴリ成分（ロジットを介して）を z, x_{1-b}, b に条件づけてパラメータ化する。
• VAE に類似した変分下限 L_VAEAC を、分解ガウス分布 q_phi(z|x,b) とリパラメータ化を用いて導出・最適化する。
• 数値的発散を防ぐために正規-ガンマ事前分布で事前パラメータを正則化する。
• 欠損特徴設定へ拡張するため、p(b) を x に条件づけた p(b|x) にして再構成項で欠損特徴を周辺化する。

実験結果

リサーチクエスチョン

• RQ1 モデルは任意の条件マスク b に対して p(x_b|x_{1-b}, b) の全集合を学習できるか。
• RQ2 多模态シナリオにおいて、VAEAC は真の条件付き分布をどの程度正確に近似できるか。
• RQ3 欠損特徴の補完と画像のインペイントに関して、既存法と比べて VAEAC は効果的か。
• RQ4 Universal Marginalizer および GAN ベースのアプローチと比較して、品質と計算効率はどうか。

主な発見

• VAEAC は MICE、MissForest、GAIN などと比較して複数の UCI データセットに対して欠損特徴補完で競合的な性能を発揮する。
• MNIST、Omniglot、CelebA で多様で現実的な画像インペイントを生成でき、PSNR は複数のマスクで最先端法に対して競争的または上回る。
• VAEAC は単一ショットの手法であり、条件付き分布からサンプリングするため、いくつかの自己回帰法や最適化ベースのアプローチより推論時が高速で、サンプルの多様性を維持する。
• Universal Marginalizer と比較して、多くの局所極値が存在する、実数データのケースで条件付き結合分布をより良く捉えられる場合があり、UM が周辺分布の近似に苦労する点で有利。
• 実験から、VAEAC は結合データ分布を効果的に学習し、多様なタスクで有用な補完およびインペイントを提供できることが示唆される。