[論文レビュー] Stochastic Wasserstein Autoencoder for Probabilistic Sentence Generation

Hareesh Bahuleyan, Lili Mou+2 more|arXiv (Cornell University)|Jun 22, 2018

Topic Modeling被引用数 9

ひとこと要約

本稿では、自然言語処理における変分オートエンコーダー（VAEs）の不安定さと低い学習性能を解消するため、確率的 Wasserstein オートエンコーダー（WAE）を提案する。KL 正則化項を導入することでエンコーダーの確率的性質を維持し、KL 常置や語のドロップアウトを必要とせず、BLEU スコアと生成の多様性において VAE よりも優れた性能を達成する。

ABSTRACT

The variational autoencoder (VAE) imposes a probabilistic distribution (typically Gaussian) on the latent space and penalizes the Kullback--Leibler (KL) divergence between the posterior and prior. In NLP, VAEs are extremely difficult to train due to the problem of KL collapsing to zero. One has to implement various heuristics such as KL weight annealing and word dropout in a carefully engineered manner to successfully train a VAE for text. In this paper, we propose to use the Wasserstein autoencoder (WAE) for probabilistic sentence generation, where the encoder could be either stochastic or deterministic. We show theoretically and empirically that, in the original WAE, the stochastically encoded Gaussian distribution tends to become a Dirac-delta function, and we propose a variant of WAE that encourages the stochasticity of the encoder. Experimental results show that the latent space learned by WAE exhibits properties of continuity and smoothness as in VAEs, while simultaneously achieving much higher BLEU scores for sentence reconstruction.

研究の動機と目的

• 変分オートエンコーダー（VAEs）の学習における課題に対処する。具体的には、KL 散発項がしばしばゼロに収束し、潜在空間のモデリングが不十分になる問題を解決する。
• VAEs が効果的に学習できるようにするための複雑なヒューリスティクス（例：KL 常置、語のドロップアウト）を回避する。
• 連続的潜在空間を用いた確率的文生成のより安定した代替手法として、Wasserstein オートエンコーダー（WAEs）の利用を検討する。
• 確率的 WAE エンコーダーがディラック・デルタ関数に収束する傾向を解明し、意味のある確率的性質を維持するための解決策を提案する。
• 提案手法が、VAEs や決定的オートエンコーダーと比較して、再構成性能および生成品質の両面で優れた結果を示すことを実証する。

提案手法

• Wasserstein オートエンコーダー（WAE）フレームワークを採用し、KL 散発に依存するのではなく、集約事後分布と事前分布の間の Wasserstein 距離を最小化する。
• 入力文を潜在分布にマッピングする確率的エンコーダーを用い、サンプリングされた潜在ベクトルからデコーダーが文を再構成する。
• 確率的エンコーダーが決定的なディラック・デルタ関数に収束するのを防ぐために、ヒューリスティックな KL 正則化項を導入し、確率的性質を維持する。
• 再構成損失、WAE 正則化項（Wasserstein 距離）、および補助的な KL 項の重み付き和として学習目的関数を定式化し、エンコーダーの確率的性質を促進する。
• KL 常置や語のドロップアウトを必要とせず、確率的勾配降下法を用いてエンドツーエンドでモデルを学習する。VAEs よりも学習が簡素化される。
• 対話応答生成を目的としたエンコーダ-デコーダー構造（WED）に WAE フレームワークを拡張し、決定的および確率的エンコーダーの両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な WAE における確率的エンコーダーが、なぜ自然言語処理タスクで決定的ディラック・デルタ関数に収束する傾向を示すのか？
• RQ2 補助的な KL 正則化項を備えた変更版 WAE は、WAE フレームワークの利点を保ちつつ、エンコーダーの確率的性質を効果的に維持できるか？
• RQ3 提案手法の WAE 変種は、再構成品質（BLEU）および生成多様性（エントロピー、異なる n-gram）の観点で VAE と比較してどのように異なるか？
• RQ4 本手法は、自然言語生成において KL 常置や語のドロップアウトといった学習ヒューリスティクスの必要性を排除できるか？
• RQ5 WAE を用いたモデルは、VAE を用いたモデルと比較して、対話システムにおける高品質で多様かつ流暢な文生成を達成できるか？

主な発見

• 提案された KL 正則化付き WAE は、SNLI 文生成タスクで BLEU-4 スコア 22.5 を達成し、VAEs よりも 40 ポイントも優れており、決定的オートエンコーダー（DAE）の性能に近づいた。
• KL 正則化付き WAE は、最高の出力多様性を示し、DailyDialog コーパスで Dist-2 スコア 0.309 を記録。VAE を用いたモデル（0.204）と決定的 WAE（0.272）を大きく上回った。
• 確率的 WAE 変種は、再構成性能（BLEU-4 ≈ 22.5）を高い水準で維持しながら、多様で流暢な生成を可能にした。これに対して、決定的 WAE は多様性に欠ける。
• KL 常置や語のドロップアウトを必要とせず、VAEs よりも安定的で学習が容易であることを示した。
• 対話生成において、KL 正則化付き確率的エンコーダーを備えた WED-S モデルは、BLEU スコアおよび多様性指標において VED、WED-D、DED を上回り、生成品質および多様性の向上を確認した。
• 理論的および実験的分析により、元の確率的 WAE エンコーダーがディラック・デルタ関数に収束する傾向があることが確認され、本研究で提案された KL 正則化の必要性が裏付けられた。