[論文レビュー] Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling

Prince Zizhuang Wang, William Yang Wang|arXiv (Cornell University)|Apr 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 9

ひとこと要約

本稿では、入力テキスト空間の幾何構造を尊重する潜在表現を学習することで、テキストモデリングを改善するためのリーマン型正規化フロー（RNF）を、変分ウォッサーシュタイン自己オートエンコーダー（WAE）内に提案する。標準のガウス事前分布に代えてリーマン計量に配慮した潜在空間を採用することで、KL項の消失問題を回避し、ほとんどのベンチマークで最先端のパープレキシティを達成するとともに、より多様で意味のあるテキストサンプルを生成することができる。

ABSTRACT

Recurrent Variational Autoencoder has been widely used for language modeling and text generation tasks. These models often face a difficult optimization problem, also known as the Kullback-Leibler (KL) term vanishing issue, where the posterior easily collapses to the prior, and the model will ignore latent codes in generative tasks. To address this problem, we introduce an improved Wasserstein Variational Autoencoder (WAE) with Riemannian Normalizing Flow (RNF) for text modeling. The RNF transforms a latent variable into a space that respects the geometric characteristics of input space, which makes posterior impossible to collapse to the non-informative prior. The Wasserstein objective minimizes the distance between the marginal distribution and the prior directly and therefore does not force the posterior to match the prior. Empirical experiments show that our model avoids KL vanishing over a range of datasets and has better performances in tasks such as language modeling, likelihood approximation, and text generation. Through a series of experiments and analysis over latent space, we show that our model learns latent distributions that respect latent space geometry and is able to generate sentences that are more diverse.

研究の動機と目的

• 再帰的VAEにおけるテキスト生成の際のKL発散の消失問題に対処すること。具体的には、事後分布が事前分布に収束し、潜在コードが情報を持たなくなる状況を避けること。
• 標準VAEが対角ガウス事前分布を仮定するが、これは自然言語データの内蔵幾何構造を捉えられていないという限界を克服すること。
• ウォッサーシュタイン目的関数を活用し、周辺分布の距離を事前分布に近づけることで、事後分布マッチングへの依存を減らし、KL崩壊を緩和すること。
• 入力データの幾何構造を尊重する曲がった空間に潜在変数を変換する、新規なリーマン型正規化フロー（RNF）を構築すること。これにより、事後分布が標準ガウス分布に崩壊することは不可能になる。
• より情報量が多く、多様で幾何構造に配慮した潜在表現を学習することで、尤度近似（パープレキシティ）とテキスト生成品質の両方を向上させること。

提案手法

• 入力データの幾何構造から導出されるリーマン計量テンソルに従う、リーマン計量に配慮した潜在空間を備えたウォッサーシュタイン変分自己オートエンコーダー（WAE）にリーマン型正規化フロー（RNF）を統合する。
• リーマン計量テンソルを用いて、入力文多様体の内在的幾何的性質を符号化する曲がった潜在空間を定義する。
• 正規化フローを用いて、簡単な基本分布（例：標準ガウス分布）を、潜在空間内に複雑でリーマン計量構造を持つ事後分布に写像する。
• ウォッサーシュタインGAN目的関数を用いて、周辺事後分布と事前分布との距離を最小化し、強制的な事後-事前マッチングを回避する。
• 再パラメトリゼーションを用いた確率的勾配降下法により、RNFに基づく正規化フローを用いたWAE目的関数をエンドツーエンドで最適化する。
• モンテカルロ推定を用いて、潜在コードと入力データ間の相互情報量を近似し、学習された表現の情報量の高さを評価する。

実験結果

リサーチクエスチョン

• RQ1 入力データの幾何構造を符号化することで、リーマン型正規化フローはVAEにおける事後分布の崩壊を効果的に防げるか？
• RQ2 RNFと組み合わせたウォッサーシュタイン目的関数は、標準VAEやWAEと比較して、より優れた言語モデリング性能（パープレキシティで測定）を達成するか？
• RQ3 リーマン潜在空間は、ユークリッド潜在空間と比較して、入力文と潜在コードの間の相互情報量をどの程度保持するか？
• RQ4 RNFの使用は、生成テキストサンプルの多様性と意味的質にどのような影響を及ぼすか？
• RQ5 提案されたRNF-WAEモデルは、標準NLPベンチマークにおいて、テキスト生成および尤度近似の両面で最先端の結果を達成できるか？

主な発見

• RNF-WAEモデルは、PTBやYelpを含むほとんどの標準的言語モデリングデータセットで、先行するVAEベースのモデルを上回る最先端のパープレキシティを達成した。
• リーマン潜在空間の幾何的制約のおかげで、事後分布が標準ガウス分布に収束するのを防ぎ、KL発散の消失問題を顕著に軽減した。
• リーマン空間内では、入力文と潜在コードの間の相互情報量がユークリッド空間よりも高い（$I(oldsymbol{z}^{oldsymbol{ackprime}}, oldsymbol{x}) > I(oldsymbol{z}, oldsymbol{x})$）ことが示され、より情報量の多い表現であることが裏付けられた。
• リーマン潜在空間から生成されたテキストは、意味的および構造的多様性が高く、フローのおかげで異なる入力条件に対応する広い事後分布サポートが実現された。
• RNFとウォッサーシュタイン目的関数の組み合わせにより、再構成品質と潜在コードの情報量の両立がより安定的かつ効果的に実現された。
• 実験的結果から、パープレキシティの向上がわずかであっても、RNF-WAEモデルは相互情報量と生成多様性の両面で一貫して向上を示し、幾何構造に配慮した潜在空間の価値を裏付けた。