[論文レビュー] Hyperspherical Variational Auto-Encoders

Tim R. Davidson, Luca Falorsi+3 more|arXiv (Cornell University)|Apr 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 104

ひとこと要約

この論文はVAEのガウス priors/posteriorを von Mises-Fisher 分布に置換し、超球面潜在空間を作成して、球状構造を持つデータのモデリングを改善し、MNIST再構成/半教師あり学習、およびグラフ上のリンク予測などのタスクを改善する。

ABSTRACT

The Variational Auto-Encoder (VAE) is one of the most used unsupervised machine learning models. But although the default choice of a Gaussian distribution for both the prior and posterior represents a mathematically convenient distribution often leading to competitive results, we show that this parameterization fails to model data with a latent hyperspherical structure. To address this issue we propose using a von Mises-Fisher (vMF) distribution instead, leading to a hyperspherical latent space. Through a series of experiments we show how such a hyperspherical VAE, or $\mathcal{S}$-VAE, is more suitable for capturing data with a hyperspherical latent structure, while outperforming a normal, $\mathcal{N}$-VAE, in low dimensions on other data types. Code at http://github.com/nicola-decao/s-vae-tf and https://github.com/nicola-decao/s-vae-pytorch

研究の動機と目的

• 超球面潜在構造を持つデータに対するガウス priors の制約を動機づけ、これを解決する。
• von Mises-Fisher 分布を用いる超球面VAE（S-VAE）を導入する。
• トレーニングを可能にするための vMF の微分可能な再パラメータ化とサンプリング方式を開発する。
• MNIST およびグラフベースのリンク予測タスクで S-VAE と N-VAE を比較する。
• 低次元潜在空間におけるクラスタリングの改善、半教師付き性能、およびグラフ埋め込みを実証する。

提案手法

• 超球面上の潜在先验/後方分布として von Mises-Fisher (vMF) 分布を採用する。
• 球面上の vMF と一様分布との KL 発散を導出し、集中度 κ に依存し、平均 μ には依存しないことを指摘する。
• vMF の受容拒否サンプリング手順を提供し、スケールされたベッセル関数を用いた κ の明示的勾配を提供する。
• 二段階変換（ Algorithm 1 および随伴補題）を用いて、拒否サンプリング分布へ再パラメータ化トリックを拡張する。
• S-VAE を適用して超球面潜在構造を回復し、非教師ありおよび半教師付き MNIST 実験を実施し、引用ネットワークのリンク予測に対する VGAE ベースの評価を行う。

実験結果

リサーチクエスチョン

• RQ1 本質的に球状構造を持つデータのモデリングを、ガウス潜在空間と比較して超球面潜在空間は改善できるか？
• RQ2 効率的なトレーニングのために、再パラメータ化トリックを von Mises-Fisher 後方分布へどのように拡張できるか？
• RQ3 ガウスを vMF に置換することは、低次元の潜在空間で再構成・クラスタリング・下流タスクを改善するか？
• RQ4 潜在トポロジーが半教師付き学習およびグラフベースのリンク予測に与える影響は何か？
• RQ5 MNIST や citation network のリンク予測などのMLタスクにおいて、S-VAE は N-VAE と比較してどの程度性能を発揮するか？

主な発見

• S-VAE は、合成データおよび MNIST 設定で N-VAE よりも超球面潜在構造をより良く回復し、特に低次元で顕著である。
• MNIST での再構成において、S-VAE は負の再構成誤差を低く、ELBO（低次元では LL）を高く達成する。
• 半教師付き MNIST では、S-VAE および S+N の派生が、複数の潜在次元で N 対象より高い精度を達成する。
• Cora, Citeseer, PubMed のリンク予測で、S-VGAE は N-VGAE より AUC および AP を改善する。
• 球面上の一様 priors は原点への引力を回避し、潜在空間のより均一な利用をサポートするため、クラスタリングと生成を助ける。