[論文レビュー] Stick-Breaking Variational Autoencoders

Eric Nalisnick, Padhraic Smyth|arXiv (Cornell University)|May 20, 2016

Generative Adversarial Networks and Image Synthesis被引用数 47

ひとこと要約

本稿では、スティックブレイキング過程を用いて確率的かつデータに適応する潜在次元数を可能にするベイジアン非パラメトリックVAE、すなわちスティックブレイキング変分オートエンコーダー（SB-VAE）を提案する。後方推論に微分可能な Kumaraswamy 分布を活用することで、Gaussian VAE よりもより判別的な表現を得ることができ、特に半教師あり学習において一般化性能が向上し、コンponent collapse も発生しない。

ABSTRACT

We extend Stochastic Gradient Variational Bayes to perform posterior inference for the weights of Stick-Breaking processes. This development allows us to define a Stick-Breaking Variational Autoencoder (SB-VAE), a Bayesian nonparametric version of the variational autoencoder that has a latent representation with stochastic dimensionality. We experimentally demonstrate that the SB-VAE, and a semi-supervised variant, learn highly discriminative latent representations that often outperform the Gaussian VAE's.

研究の動機と目的

• スティックブレイキング過程の重みに対する後方推論を、従来微分不能とされてきたものにまで、確率的勾配変分ベイズ（SGVB）に拡張すること。
• データの複雑さに応じて活性な潜在次元数を自動的に決定する、VAE のベイジアン非パラメトリックな変種を開発すること。
• 潜在表現の動的かつデータ駆動的な次元数を可能にすることで、表現学習と半教師あり分類性能を向上させること。
• 潜在次元数を固定し、KL正則化によってコンponent collapse を引き起こす可能性があるGaussian VAE の制限を克服すること。
• スティックブレイキング重みの微分可能なパrametrization を通じて、深層生成モデルにおけるスケーラブルで微分可能なモデル容量制御を可能にすること。

提案手法

• スティックブレイキング重みの非共役で微分可能な近似後方分布としてKumaraswamy分布を用い、潜在変数を介したバックプロパゲーションを可能にする。
• 潜在次元にスティックブレイキング事前分布を導入することで、VAE およびその半教師ありバージョンを再定式化し、モデルが活性成分の数を自己決定可能にする。
• Kumaraswamy分布による非中心化パrametrization を用いてスティックブレイキング過程を再定式化し、SGVB に必要な微分可能で非中心化なパrametrization（DNCP）を満たす。
• 潜在変数をノイズ変数の決定的関数として再パラメトリズエーションすることで、モンテカルロ近似を用いたエビデンス下限界（ELBO）に基づいてモデルを訓練する。
• 計算コストを抑えるために切断を適用しながらも、モデルの柔軟性を維持し、教師なしおよび半教師あり学習タスクに本手法を適用する。
• スティックセグメントを構成するための線形時間アルゴリズムを用いることで、標準VAEに比べて最小限の計算オーバーヘッドを確保する。

実験結果

リサーチクエスチョン

• RQ1 スティックブレイキング過程の重みは自然に微分可能ではないが、確率的勾配変分ベイズをそれらの重みの後方推論に拡張できるか？
• RQ2 スティックブレイキング事前分布を用いたベイジアン非パラメトリックVAEは、標準的なGaussian VAE よりもより判別的な潜在表現を学習できるか？
• RQ3 SB-VAE は、データの複雑さに応じて潜在次元数を適応させることで、半教師あり学習においてより優れた性能を発揮するか？
• RQ4 KL正則化を用いているにもかかわらず、SB-VAE はGaussian VAE でよく見られるコンponent collapse の失敗モードを回避できるか？
• RQ5 微分可能なスティックブレイキングは、深層生成モデルにおけるスケーラブルで適応可能なモデル容量を可能にするか？

主な発見

• MNIST で1%のラベル付きデータを用いた場合、SB-VAE はGaussian VAE よりも顕著に優れた半教師あり分類性能を示し、誤差を27.72%から11.78%に低減した。
• SVHN でも1%のラベル付きデータを用いた場合、SB-VAE はGaussian VAE の36.08%に対し32.08%の誤差を達成し、低教師あり条件下での一般化性能の優位性を示した。
• 潜在次元が非活性であっても、デコーダーの重みが活性のまま維持されるため、SB-VAE はコンponent collapse を示さないスパースな潜在表現を維持している。
• モデルの潜在表現は、クラス境界をよりよく保持しており、これが判別的性能の向上に寄与している。
• 潜在次元が非活性であっても、デコーダー重みが安定して非ゼロのまま維持されるため、SB-VAE には重み減衰やコンponent collapse の兆候が見られなかった。
• 計算コストは最小限に抑えられており、スティックセグメントの構成に線形時間アルゴリズムを用いることで、標準VAEに比べてほとんど追加コストがない。