[論文レビュー] Unsupervised Controllable Text Generation with Global Variation Discovery and Disentanglement.

Peng Xu, Yanshuai Cao+1 more|arXiv (Cornell University)|May 28, 2019

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本稿では、潜在空間の穴を低減することで、制御可能なテキスト生成を実現する新しい非教師付き手法を提案する。この手法は、事後分布の平均を学習された確率単体に制約することで、系列VAEにおける操作を困難にする潜在空間の穴を軽減する。このアプローチにより、テキスト生成に対する効果的で微細な制御が可能となり、スタイル転送タスクにおいて非教師付きおよび教師付きのベースラインを上回る性能を発揮する。

ABSTRACT

The variational autoencoder (VAE) can learn the manifold of natural images on certain datasets, as evidenced by meaningful interpolating or extrapolating in the continuous latent space. However, on discrete data such as text, it is unclear if unsupervised learning can discover similar latent space that allows controllable manipulation. In this work, we find that sequence VAEs trained on text fail to properly decode when the latent codes are manipulated, because the modified codes often land in holes or vacant regions in the aggregated posterior latent space, where the decoding network fails to generalize. Both as a validation of the explanation and as a fix to the problem, we propose to constrain the posterior mean to a learned probability simplex, and performs manipulation within this simplex. Our proposed method mitigates the latent vacancy problem and achieves the first success in unsupervised learning of controllable representations for text. Empirically, our method outperforms unsupervised baselines and strong supervised approaches on text style transfer, and is capable of performing more flexible fine-grained control over text generation than existing methods.

研究の動機と目的

• 非教師付き学習設定における制御可能なテキスト生成の課題に取り組む。
• 系列VAEにおける潜在空間の空洞（latent vacancy）問題を特定・解決する。具体的には、操作された潜在コードが訪問されていない領域に落ち込む問題を解消する。
• 教師信号や明示的なスタイルアノテーションを一切用いずに、意味的で微細なテキスト生成の操作を可能にする。
• テキストの潜在空間において、補間や外挿が可能な分離可能でグローバルな表現を学習する。

提案手法

• 本手法は、VAEの事後分布の平均が学習された確率単体内に収まるように制約を課す。これにより、未訪問の潜在空間領域にコードが生成される可能性が低減される。
• 変分オートエンコーダーのアーキテクチャを採用し、修正された事後分布を用いることで、潜在コードが密度の高い、学習可能な潜在空間領域内に留まるように保証する。
• 学習された単体は、潜在空間を正則化する構造的事前分布として機能し、操作後の復元段階における一般化性能を向上させる。
• 操作は単体内での直接的な操作によって行われるため、滑らかで意味的な補間やスタイル転送が可能である。
• 本手法は教師信号や明示的なスタイルラベルを一切必要とせず、生テキストに対する非教師学習に依存している。

実験結果

リサーチクエスチョン

• RQ1 非教師付きVAEは、潜在空間の穴が存在する中でも、制御可能なテキスト生成を可能にする潜在空間を学習できるか？
• RQ2 事後分布の平均を確率単体に制約することで、潜在空間における空洞領域の発生が実際に低減されるか？
• RQ3 本手法は、従来の非教師付きおよび教師付きアプローチよりも、テキストスタイル転送で優れた性能を達成できるか？
• RQ4 本手法は、教師信号なしでどの程度、微細かつ分離可能なテキスト生成の制御を可能にするか？

主な発見

• 提案手法は、潜在空間の空洞問題を効果的に軽減し、系列VAEにおける潜在コードの信頼性ある操作を可能にした。
• 本手法は、非教師付きベースラインを上回り、教師信号なしで最先端の性能を達成した。
• また、強力な教師付き手法に対しても性能を上回り、非教師付きの分離表現の有効性を示した。
• 従来の手法、特に教師信号に依存する手法と比較して、本手法はより柔軟で微細なテキスト生成の制御を可能にした。