[論文レビュー] Probabilistic Natural Language Generation with Wasserstein Autoencoders.

Hareesh Bahuleyan, Lili Mou+3 more|arXiv (Cornell University)|Jun 22, 2018

Topic Modeling参考文献 15被引用数 5

ひとこと要約

本稿では、変分オートエンコーダー（VAE）の問題となるKL勾配消失問題を回避するため、確率的自然言語生成のためのワサーティンオートエンコーダー（WAE）を提案している。この手法により、重みのannealingを必要とせず、ハイパーパrameterに頑健な安定した訓練が可能となり、潜在空間が滑らかになり、標準VAEと比較して文の再構築において顕著に高いBLEUスコアを達成した。

ABSTRACT

Probabilistic generation of natural language sentences is an important task in NLP. Existing models such as variational autoencoders (VAE) for sequence generation are extremely difficult to train due to the issues associated with the Kullback-Leibler (KL) loss collapsing to zero. One has to implement various heuristics such as KL weight annealing and word dropout in a carefully engineered manner to successfully train a text VAE. In this paper, we propose the use of Wasserstein autoencoders (WAE) for probabilistic natural language sentence generation. We show that sequence-to-sequence WAEs are more robust towards hyperparameters and can be trained in a straightforward manner without the need for any weight annealing. Empirical evidence shows that the latent space learned by WAEs exhibits properties of continuity and smoothness as in VAEs, while simultaneously achieving much higher BLEU scores for sentence reconstruction.

研究の動機と目的

• 変分オートエンコーダー（VAE）が自然言語生成においてKL損失の崩壊により不安定になり、訓練が困難になる問題を解決すること。
• ワサーティンオートエンコーダー（WAE）が、最適化の挙動に優れ、系列生成のためのより安定した代替手段であるかどうかを検討すること。
• VAEと同様に、連続性や滑らかさといった望ましい潜在空間の性質をWAEが維持しているかどうかを評価すること。
• BLEUなどの自動評価指標を用いて、WAEとVAEの再構築品質を比較すること。

提案手法

• 著者らは、WAEフレームワークを系列間の生成タスクに適用し、標準的なVAEの目的関数をワサーティン距離に基づく分布マッチング損失に置き換えている。
• モデルは、潜在コードの事前分布と事後分布の間のワサーティン距離を最小化することで、潜在空間を学習する。
• VAEとは異なり、KLダイバージェンスの使用を避けるため、訓練中にKL重みのannealingが不要になる。
• 再パラメータライゼーショントリックを用いたエンコーダ・デコーダ構造を採用し、確率的潜在変数を介したバックプロパゲーションを可能にしている。
• 勾配ベースの最適化手法を用いて訓練目的関数を最適化し、ヒューリスティックなスケジューリングは一切不要である。
• モデルはテキスト系列全体をエンドツーエンドで訓練し、分布マッチング制約によって潜在空間を正則化している。

実験結果

リサーチクエスチョン

• RQ1 WAEは自然言語処理における系列生成タスクに成功裏に適用可能か？
• RQ2 WAEフレームワークは、テキストオートエンコーダーにおいてKL重みのannealingを不要にするか？
• RQ3 WAEが学習する潜在空間は、VAEと比較して連続性や滑らかさの点でどう異なるか？
• RQ4 標準的なNLPベンチマークにおいて、WAEの再構築性能はVAEと比べてどの程度か？
• RQ5 従来のVAEと比較して、WAEアプローチはハイパーパrameterの選択に対してより頑健か？

主な発見

• WAEベースのモデルは、標準VAEと比較して文の再構築において顕著に高いBLEUスコアを達成しており、生成品質が優れていることが示された。
• WAEが学習する潜在空間は、VAEと同様に連続性と滑らかさを示しており、意味的な分離表現が得られている可能性を示唆した。
• 訓練プロセスは安定しており、KL重みのannealingのようなヒューリスティック技術の使用が不要であった。
• ハイパーパrameterの設定に対して頑健であり、細かなチューニングの必要性が低減した。
• 実験的結果により、WAEは系列生成タスクにおいて、訓練の安定性と生成品質の両面でVAEを上回ることが確認された。