[論文レビュー] APo-VAE: Text Generation in Hyperbolic Space

Shuyang Dai, Zhe Gan+4 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 46被引用数 4

ひとこと要約

APo-VAEは、自然言語の階層構造をモデル化するために、ポアンカレ球上でのラップド正規分布を用いた双曲変分オートエンコーダーを提案する。変分境界の敵対的最適化を可能にするKLダイバージェンスの原始対双対定式化を活用することで、テキスト生成、言語モデリング、スタイル変換において優れた性能を達成するとともに、後方分布崩壊の緩和を実現する。

ABSTRACT

Natural language often exhibits inherent hierarchical structure ingrained with complex syntax and semantics. However, most state-of-the-art deep generative models learn embeddings only in Euclidean vector space, without accounting for this structural property of language. In this paper, we investigate text generation in a hyperbolic latent space to learn continuous hierarchical representations. An Adversarial Poincare Variational Autoencoder (APo-VAE) is presented, where both the prior and variational posterior of latent variables are defined over a Poincare ball via wrapped normal distributions. By adopting the primal-dual formulation of KL divergence, an adversarial learning procedure is introduced to empower robust model training. Extensive experiments in language modeling and dialog-response generation tasks demonstrate the winning effectiveness of the proposed APo-VAE model over VAEs in Euclidean latent space, thanks to its superb capabilities in capturing latent language hierarchies in hyperbolic space.

研究の動機と目的

• ユークリッド空間におけるVAEの自然言語に内在する階層的構造を捉える能力の制限を解決すること。
• 特にポアンカレ球モデルを用いた双曲幾何が、木構造を持つ言語的階層をより効果的に表現できるかどうかを検討すること。
• 原始対双対KL定式化による敵対的最適化を導入することで、VAEベースのテキスト生成における訓練安定性と表現品質の向上を図ること。
• 双曲空間におけるより情報量が多く、データ駆動型の事前分布を採用することで、テキストVAEにおける後方分布崩壊の緩和を図ること。
• 双曲潜在空間の有効性を、言語モデリング、スタイル変換、対話生成を含む多様なNLPタスクにおいて実証すること。

提案手法

• 階層的潜在構造をモデル化するために、ポアンカレ球上でのラップド正規分布を用いて事前分布と変分後方分布を定義する。
• 変分境界の敵対的最適化を可能にするために、Kullback-Leiblerダイバージェンスの原始対双対定式化を採用し、モンテカルロ近似に依存しない。
• 表現学習の向上を図るために、変分後方分布の混合物を用いたVampPrior設計を導入する。
• 感情分類器を用いて、非対応スタイル変換においてコンテンツと感情を分離するため、敵対的訓練を適用する。
• 対話文脈を条件として用いることで、応答生成を目的としたAPo-VAEの条件付きバージョンを開発する。
• 潜在コードの2次元投影を用いて階層的構造を可視化し、長く複雑な文がポアンカレ球の外縁部に位置していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 双曲潜在空間は、ユークリッド空間と比較して自然言語の階層的構造をより効果的に捉えられるか？
• RQ2 ポアンカレ球上でのラップド正規分布の使用は、テキスト生成のためのVAEの訓練効率と安定性を向上させられるか？
• RQ3 原始対双対KL定式化は、標準的な変分推論と比較して、テキストVAEにおける訓練安定性と表現品質を向上させられるか？
• RQ4 APo-VAEはどの程度、テキスト生成タスクにおける後方分布崩壊を緩和できるか？
• RQ5 既存のVAEベースのモデルと比較して、APo-VAEは言語モデリング、非対応スタイル変換、対話生成といった多様なNLPタスクでどの程度の性能を示すか？

主な発見

• PTBデータセットにおいて、APo-VAEはiVAE、β-VAE、P-VAEを含むすべてのベースラインと比較して、より低い負のELBO（116.2）とPPL（6.1）を達成した。
• KLダイバージェンス項が高く、潜在コードと入力間の相互情報量が大きいことから、後方分布崩壊が軽減されていることが示された。
• 非対応スタイル変換では、BLEUスコアが37.8（iVAE：36.7）を記録し、情報量（52.8%の勝率）と多様性（51.2%の勝率）の両面で顕著な向上を示した。
• 対話応答生成では、平均リCALLを0.427（iVAE）から0.438に向上させ、intra-dist-2を0.692から0.792に向上させ、多様性の向上が確認された。
• 人間評価では、情報量面で52.8%、一貫性面で63.7%、多様性面で62.1%の割合で、競合モデルよりも優れていると評価された。
• 可視化により、より長く複雑な文がポアンカレ球の外縁部に埋め込まれていることが確認され、モデルが階層的表現を学習できていることが裏付けられた。