[論文レビュー] Spherical Latent Spaces for Stable Variational Autoencoders

Jiacheng Xu, Greg Durrett|arXiv (Cornell University)|Aug 31, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 31

ひとこと要約

本稿では、テキスト用の変分オートエンコーダー（VAEs）における潜在空間に多変量ガウス分布の代わりにボン・ミーゼス＝フィッシャー（vMF）分布を用いることを提案する。これにより、集中パラメータ 𝜅 を用いて固定されたKLダイバージェンスが可能となり、KLコラプスが防止され、尤度性能が向上し、RNN言語モデルとbag-of-wordsドキュメントモデルの両タスクにおいて、より効果的で構造的な潜在表現が得られる。

ABSTRACT

A hallmark of variational autoencoders (VAEs) for text processing is their combination of powerful encoder-decoder models, such as LSTMs, with simple latent distributions, typically multivariate Gaussians. These models pose a difficult optimization problem: there is an especially bad local optimum where the variational posterior always equals the prior and the model does not use the latent variable at all, a kind of "collapse" which is encouraged by the KL divergence term of the objective. In this work, we experiment with another choice of latent distribution, namely the von Mises-Fisher (vMF) distribution, which places mass on the surface of the unit hypersphere. With this choice of prior and posterior, the KL divergence term now only depends on the variance of the vMF distribution, giving us the ability to treat it as a fixed hyperparameter. We show that doing so not only averts the KL collapse, but consistently gives better likelihoods than Gaussians across a range of modeling conditions, including recurrent language modeling and bag-of-words document modeling. An analysis of the properties of our vMF representations shows that they learn richer and more nuanced structures in their latent representations than their Gaussian counterparts.

研究の動機と目的

• 潜在変数が使われなくなるなど、テキストVAEにおける持続的なKLコラプス問題に対処すること。
• 標準VAEの最適化の脆さを克服し、vMF事前分布を用いてKLダイバージェンスを固定されたハイパーパrameterとして構造化すること。
• 安定した学習を維持しつつ、潜在コードのより効果的な使用を可能にすることで、テキストの生成モデリング性能を向上させること。
• vMFベースの潜在空間が、ガウス分布と比較してより豊かな構造的情報を捉えられるかどうかを検証すること（特に語順の捉え方）。
• 固定された 𝜅 値が、多様な自然言語処理モデリング設定において、より強固で転送可能な性能をもたらすかどうかを示すこと。

提案手法

• 標準の多変量ガウス事前分布の代わりに、単位超球面上に定義されたボン・ミーゼス＝フィッシャー（vMF）分布を用い、平均方向 𝝁 と集中度 𝜅 でパラメータ化する。
• 集中度パラメータ 𝜅 をハイパーパrameterとして固定することで、事後分布と事前分布のKLダイバージェンスがエンコーダー出力に依存しなくなり、構造的にコラプスに対して免疫化される。
• 認識モデル（エンコーダー）を用いて、学習された平均方向と固定された 𝜅 を持つvMF分布として、事後分布 qϕ(z|x) を推論する。
• vMFのKLダイバージェンスを修正ベッセル関数を通じて微分可能にし、標準的なVAEの目的関数（ELBO）を用いてエンド・ツー・エンドでモデルを学習する。
• RNNベースの言語モデルとbag-of-wordsドキュメントモデリングの2つのタスクにvMF VAEを適用し、標準的および入力なし（inputless）のアーキテクチャを用いる。
• ホールドアウト尤度とパープレキシティを用いて性能を評価し、語順の変更に対する感受性など、潜在表現の構造的感度を分析する。

実験結果

リサーチクエスチョン

• RQ1 vMF事前分布における集中パラメータ 𝜅 を固定することで、潜在変数が使われなくなる問題（KLコラプス）が、テキストVAEで完全に防止されるか。
• RQ2 vMF事前分布を用いることで、多様なテキストモデリングタスクおよびアーキテクチャにおいて、ガウスVAEと比較して一貫して高い尤度が得られるか。
• RQ3 vMFベースの潜在表現は、語順のような洗練された言語的構造を、ガウス表現と比較してどのようによりよく捉えられるか。
• RQ4 vMF VAEの性能は、𝜅 のハイパーパラメータ選択に対して頑健であるか。また、最適な値は異なるモデリング設定間で転送可能か。
• RQ5 𝜅 をエンド・ツー・エンドで学習すると、再びKLコラプス問題が顕在化するか。それとも、固定された 𝜅 を維持する戦略が依然として優れているか。

主な発見

• vMF事前分布における集中パラメータ 𝜅 を固定することで、エンコーダー出力に依存しない固定されたハイパーパラメータとしてのKLダイバージェンスが実現され、KLコラプスは完全に防止される。
• RNN言語モデルとbag-of-wordsドキュメントモデリングの両タスクにおいて、ガウスVAEと比較して、vMF VAEは有意に高いホールドアウト尤度と低いパープレキシティを達成する。
• 固定された 𝜅 を用いたモデルは、KLダイバージェンスの値が高くなっても、より効果的に潜在コードを活用しており、尤度が高くなる。
• 𝜅 の値を10から100の広い範囲で固定しても良好な性能が得られ、最適な値は同等のタスク（例：標準的 vs. 入力なし設定）間で転送可能である。
• 𝜅 をエンド・ツー・エンドで学習すると、目的関数が最小の 𝜅 値を促進するため、再びKLコラプスが顕在化する。Clippingが必要となり、固定された 𝜅 と比較して性能が劣化する。
• 分析の結果、vMF表現は語順の変化に対してより感受性が高く、ガウス表現よりも豊かな構造的情報を捉えていることが示され、逐次データに対するより優れたインダクティブバイアスを示唆している。