[論文レビュー] Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors

Wanyu Du, Jianqiao Zhao+2 more|arXiv (Cornell University)|Apr 4, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、決定的エンコーダー隠れ状態から従属するランダムな文脈変数をモデル化するためのガウス過程（GP）事前分布を備えた変分オートエンコーダー・デコーダー・モデルを提案し、テキスト生成の多様性と品質を向上させる。GP事前分布を用いることで潜在変数間に構造的な依存関係を導入し、品質を損なうことなく多様で文脈に適した生成を可能にし、仮説生成およびスタイル転送の両タスクでベースラインを上回る性能を発揮する。

ABSTRACT

Generating high quality texts with high diversity is important for many NLG applications, but current methods mostly focus on building deterministic models to generate higher quality texts and do not provide many options for promoting diversity. In this work, we present a novel latent structured variable model to generate high quality texts by enriching contextual representation learning of encoder-decoder models. Specifically, we introduce a stochastic function to map deterministic encoder hidden states into random context variables. The proposed stochastic function is sampled from a Gaussian process prior to (1) provide infinite number of joint Gaussian distributions of random context variables (diversity-promoting) and (2) explicitly model dependency between context variables (accurate-encoding). To address the learning challenge of Gaussian processes, we propose an efficient variational inference approach to approximate the posterior distribution of random context variables. We evaluate our method in two typical text generation tasks: paraphrase generation and text style transfer. Experimental results on benchmark datasets demonstrate that our method improves the generation quality and diversity compared with other baselines.

研究の動機と目的

• 既存のオートエンコーダーに基づくモデルにおけるテキスト生成品質と多様性のトレードオフを解消すること。
• エンコーダーにおける潜在変数間の依存関係をモデル化することで、文脈表現学習を向上させること。
• 固定のエキスパート集合やデコーディング戦略に依存せずに、高多様性なテキスト生成を可能にすること。
• 可変サイズの潜在表現にわたるGP事前分布を学習するための効率的な変分推論手法を開発すること。
• GP事前分布が独立事前分布や他のベースラインよりも品質と多様性の指標で優れていることを実証すること。

提案手法

• 決定的エンコーダー隠れ状態からランダムな文脈変数への確率的関数写像を、ガウス過程事前分布を用いて導入する。
• 潜在変数間の依存関係を明示的に符号化するために、文脈変数の同時分布をGP事前分布でモデル化する。
• GP事前分布下での潜在変数の事後分布を近似するために、アンモライズド変分推論アプローチを採用する。
• 推論時に、計算効率を維持するために、変分事後分布からのi.i.d.サンプリングを実施する。
• アブレーションと比較のため、LSTMおよびTransformerベースのエンコーダ・デコーダアーキテクチャに本フレームワークを適用する。
• 異なる文脈変数の実現値をサンプリングすることで、GP事前分布を活用し、複数の多様で高品質な出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 潜在文脈変数間の依存関係をモデル化することで、テキスト生成の品質と多様性が向上するか？
• RQ2 潜在変数モデルにGP事前分布を用いることで、独立事前分布よりも条件付きテキスト生成で優れた性能を発揮するか？
• RQ3 提案手法は、高品質な生成を維持しつつ、事後分布の崩壊（posterior collapse）を緩和できるか？
• RQ4 デコーディング中心の多様性戦略と比較して、GP事前分布は品質・多様性トレードオフにおいて優れているか？
• RQ5 本手法は、異なるアーキテクチャやテキスト生成タスクにどの程度一般化可能か？

主な発見

• GP-VAEは、すべてのベースラインの中でGYAFC（E&M）テストセットにおいて最高の生成品質を達成し、PG + 正規事前分布およびT-CVAEを上回った。
• Transformerベースのモデルでは、T5 + GP事前分布が、トークンレベルおよび文レベルの両方の多様性指標で最高のパフォーマンスを発揮した。
• 特に高次元設定において、標準的なVAEベースラインと比較して、事後分布の崩壊が顕著に低減された。
• スタイル転送タスクでは、質的例示を通じて、意味的正確性を保ちながら多様な出力を生成した。
• 変分事後分布からのi.i.d.サンプリングにより、推論時の計算複雑度が標準VAEと同等のままである。
• GP事前分布により、独立潜在変数モデルよりもより意味的に整合的で多様な出力が得られる文脈に適した変動が可能になった。