[論文レビュー] Natural Language Generation with Neural Variational Models

Hareesh Bahuleyan|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 81被引用数 9

ひとこと要約

本稿では、注意の文脈ベクトルを確率的変数としてモデル化することで意味のある潜在空間を実現する、新しい変分注意メカニズムを備えた変分オートエンコーダーを提案する。このアプローチにより、決定論的注意モデルと比較してより多様で高品質な文が生成可能となり、潜在空間の分離性が向上し、潜在空間のバイパスが軽減される。

ABSTRACT

In this thesis, we explore the use of deep neural networks for generation of natural language. Specifically, we implement two sequence-to-sequence neural variational models - variational autoencoders (VAE) and variational encoder-decoders (VED). VAEs for text generation are difficult to train due to issues associated with the Kullback-Leibler (KL) divergence term of the loss function vanishing to zero. We successfully train VAEs by implementing optimization heuristics such as KL weight annealing and word dropout. We also demonstrate the effectiveness of this continuous latent space through experiments such as random sampling, linear interpolation and sampling from the neighborhood of the input. We argue that if VAEs are not designed appropriately, it may lead to bypassing connections which results in the latent space being ignored during training. We show experimentally with the example of decoder hidden state initialization that such bypassing connections degrade the VAE into a deterministic model, thereby reducing the diversity of generated sentences. We discover that the traditional attention mechanism used in sequence-to-sequence VED models serves as a bypassing connection, thereby deteriorating the model's latent space. In order to circumvent this issue, we propose the variational attention mechanism where the attention context vector is modeled as a random variable that can be sampled from a distribution. We show empirically using automatic evaluation metrics, namely entropy and distinct measures, that our variational attention model generates more diverse output sentences than the deterministic attention model. A qualitative analysis with human evaluation study proves that our model simultaneously produces sentences that are of high quality and equally fluent as the ones generated by the deterministic attention counterpart.

研究の動機と目的

• 変分オートエンコーダー（VAE）をテキスト生成に適用する際、KLダイバージェンス項が潜在空間を無視する傾向に陥るという課題に対処すること。
• seq2seqモデルにおける従来の注意メカニズムが、潜在空間の質を低下させるバイパス接続として機能する程度を調査すること。
• 文脈ベクトルを確率的変数としてモデル化する変分注意メカニズムを提案し、潜在空間の利用を向上させること。
• 自動評価および人的評価指標を用いて、提案手法が文の多様性と流暢さに与える影響を評価すること。
• 訓練の安定化を図るための改善された訓練ヒューリスティクス、例えば適応的KLアニーリングや語のドロップアウトを考案すること。

提案手法

• 文レベルの潜在コード z とデコーダーの文脈ベクトル cj の両方を、ガウス事後分布を用いて確率的変数としてモデル化する変分エンコーダ-デコーダー（VED）モデルを提案する。
• 再パrameterizationトリックを用いることで、VAEの微分可能訓練を可能にし、潜在変数を介したバックプロパゲーションを可能にする。
• 文脈ベクトル cj が学習されたガウス分布 qϕ(cj|x) からサンプリングされる変分注意メカニズムを導入する。ここで、平均 μcj = c_j^det（決定論的注意）であり、分散 σcj はニューラルネットワークによって学習される。
• cj に対してハイブリッド事前分布を採用する。標準正規分布 N(0, I) または、データに依存した事前分布 N(μ_src, I) を用い、ここで μ_src はソース隠れ状態の平均である。
• 全体の損失関数にKLコストアニーリングを適用し、段階的にKL正則化項の重みを増加させることで、訓練の安定化と事後分布の崩壊の防止を図る。
• 訓練中に語のドロップアウトを適用し、さらに潜在空間における一般化性能を向上させる正則化を実施する。

実験結果

リサーチクエスチョン

• RQ1 提案された変分注意メカニズムは、決定論的注意と比較して、生成テキストの質と多様性をどのように向上させるか？
• RQ2 seq2seqモデルにおける従来の注意メカニズムが、潜在空間の質を損なうバイパス接続として機能する程度はどの程度か？
• RQ3 KLアニーリングや語のドロップアウトといった改善された訓練ヒューリスティクスは、VAEベースのテキスト生成における事後分布の崩壊を効果的に緩和できるか？
• RQ4 学習された潜在空間は、ランダムサンプリング、線形補間、近傍サンプリングといった意味のある生成タスクをどれほど効果的にサポートするか？
• RQ5 文脈ベクトルを確率的変数としてモデル化することで、より分離性が高く意味のある潜在空間が得られるか？

主な発見

• 提案された変分注意モデルは、決定論的注意ベースラインと比較して、明確に高い文の多様性を達成しており、これは、distinct-1 および distinct-2 スコアの観点から確認された。
• 自動評価では、変分モデルがより高いエントロピーを示し、語彙的多様性が優れていることが示された。
• 人的評価により、変分モデルは決定論的モデルと同等に流暢で質の高い文を生成するとともに、より多様であることが確認された。
• 実験により、潜在空間が意味のある生成タスクを効果的にサポートしていることが示された。ランダムサンプリング、線形補間、近傍サンプリングは、一貫性があり意味的に関連する文を生成した。
• モデルは、デコーダーが潜在コードを無視するバイパス現象を効果的に抑制し、生成時に潜在空間を能動的に使用することに成功した。
• 提案された適応的KLアニーリングスケジュールは、標準的なアニーリングと比較して、訓練の安定化を図り、より意味的かつ分離性の高い潜在空間を実現した。