[論文レビュー] Towards Generating Long and Coherent Text with Multi-Level Latent Variable Models

Dinghan Shen, Aslı Çelikyılmaz+5 more|arXiv (Cornell University)|Feb 1, 2019

Topic Modeling参考文献 51被引用数 10

ひとこと要約

本稿では、階層的な確率的層と多段階のデコーダーを用いることで、高レベルの意味的計画と低レベルの語彙的詳細を同時にモデル化することにより、長く一貫性のあるテキストを生成する、マルチレベル変分オートエンコーダー（ml-VAE）を提案する。このモデルは、事後分布の崩壊を緩和し、標準的なVAEよりも多様で意味的に整合性のある長文テキストを生成する。

ABSTRACT

Variational autoencoders (VAEs) have received much attention recently as an end-to-end architecture for text generation with latent variables. In this paper, we investigate several multi-level structures to learn a VAE model to generate long, and coherent text. In particular, we use a hierarchy of stochastic layers between the encoder and decoder networks to generate more informative latent codes. We also investigate a multi-level decoder structure to learn a coherent long-term structure by generating intermediate sentence representations as high-level plan vectors. Empirical results demonstrate that a multi-level VAE model produces more coherent and less repetitive long text compared to the standard VAE models and can further mitigate the posterior-collapse issue.

研究の動機と目的

• 変分オートエンコーダーを用いた長文で一貫性のあるテキスト生成の課題に対処すること。標準的なVAEは長さと一貫性の両面で困難を抱えることが一般的である。
• テキスト生成における一般的な問題である「事後分布の崩壊」を軽減すること。これは、モデルが潜在コードを無視してしまう現象である。
• 階層的な潜在構造を導入することで、文単位の計画と語彙的詳細を捉えることにより、長期的な依存関係のモデリングを改善すること。
• 意味的に意味のある遷移を実現するため、潜在空間における滑らかな連続的補間を可能にすること。
• 学習された分離可能な表現を用いて、コンテンツを保持したまま属性の操作を可能にすること。

提案手法

• 下位レベルの潜在変数の事前分布が上位レベルの表現に条件付けられる階層的な確率的潜在変数を採用。これにより、より豊かでデータに依存する事前分布が実現される。
• トップダウン構造を持つ多段階デコーダーを採用：まず文単位のRNNが計画ベクトルを生成し、それが次に語彙的レベルのRNNを条件づけて自己回帰的に生成を行う。
• モデルが語の生成の前に文単位での計画を実施できるよう、階層的なエンコーダー・デコーダー構造を導入。これにより、長距離の一貫性が向上する。
• より情報量が多く分離可能な潜在コードを学習するため、階層的な推論ネットワークを活用。これにより、事後分布の崩壊が軽減される。
• 再パラメトリゼーション勾配を用いた変分推論を適用。下位レベルにガウス・ミックス分布の事前分布を導入することで、表現の柔軟性を向上させる。
• 否定的および肯定的センチメントレビューの平均潜在コードの差をとることで、センチメント方向ベクトルを生成し、属性ベクトルの算術を実行する。

実験結果

リサーチクエスチョン

• RQ1 多段階の潜在変数を備えた階層的VAEアーキテクチャは、標準的なVAEと比較して、より長く一貫性のあるテキストを生成できるか？
• RQ2 提案されたモデルは、テキスト生成における事後分布の崩壊をどの程度効果的に軽減できるか？
• RQ3 学習された潜在空間は、意味的に異なるテキストサンプル間で滑らかで意味のある補間を可能にするか？
• RQ4 属性ベクトルの算術により、コンテンツを保持したままセンチメントを変更できるか？特に長文テキストにおいて。
• RQ5 多段階デコーダーは、生成された長文テキストの意味的整合性を向上させるとともに、繰り返しを減らすか？

主な発見

• ml-VAEモデルは、Yelpレビューデータセットにおける定性的なサンプルから示されるように、標準的なVAEベースラインと比較して、はるかに一貫性があり、繰り返しが少ない長文テキストを生成する。
• 潜在空間における補間が滑らかで、2つの潜在コード間の直線的経路に沿った中間点が、意味的に整合的で文法的に正しい文を生成する。
• 否定的から肯定的センチメントへの感情の転送に成功。単純な属性ベクトル算術により、83.4％の操作済みレビューが事前学習済みセンチメント分類器で肯定的と分類された。
• 潜在コードの有効な使用が示され、多様で文脈に適切なテキストを生成するため、事後分布の崩壊が低減していることが裏付けられた。
• 潜在空間における線形補間は、肯定的から否定的センチメントへの段階的移行を示しており、感情要因の滑らかで意味のある分離が実現されていることを示している。
• 言語モデリングタスクにおいて、パープレクサリティが低く抑えられ、非条件および条件付き生成設定の両方で、より高品質なサンプルを生成した。