[論文レビュー] On Variational Learning of Controllable Representations for Text without Supervision

Peng Xu, Jackie Chi Kit Cheung+1 more|arXiv (Cornell University)|May 28, 2019

Topic Modeling参考文献 37被引用数 9

ひとこと要約

本稿では、潜在空間の密度が低い領域（潜在空洞）を回避するため、事後分布の平均を学習された確率単体に制約する新しい変分オートエンコーダー、CP-VAEを提案する。これにより、教師なしの制御可能なテキスト生成が初めて実現可能となり、潜在空間を埋めることで、教師ありおよび強い教師ありベースラインを上回る、最先端の性能を達成する。

ABSTRACT

The variational autoencoder (VAE) can learn the manifold of natural images on certain datasets, as evidenced by meaningful interpolating or extrapolating in the continuous latent space. However, on discrete data such as text, it is unclear if unsupervised learning can discover similar latent space that allows controllable manipulation. In this work, we find that sequence VAEs trained on text fail to properly decode when the latent codes are manipulated, because the modified codes often land in holes or vacant regions in the aggregated posterior latent space, where the decoding network fails to generalize. Both as a validation of the explanation and as a fix to the problem, we propose to constrain the posterior mean to a learned probability simplex, and performs manipulation within this simplex. Our proposed method mitigates the latent vacancy problem and achieves the first success in unsupervised learning of controllable representations for text. Empirically, our method outperforms unsupervised baselines and strong supervised approaches on text style transfer, and is capable of performing more flexible fine-grained control over text generation than existing methods.

研究の動機と目的

• 教師なしの制御可能なテキスト生成に失敗する主な要因である、集約事後分布における潜在空洞の問題を解決すること。
• 潜在空洞（潜在空間内の低密度領域）が、潜在コードの操作時にデコード失敗を引き起こす主な要因であることを特定・検証すること。
• アノテーション済み属性や事前学習モデルを一切使用せずに、堅牢で細分化されたテキスト生成制御を可能にする手法を開発すること。
• 単一の文内で自然な流れでスタイルが変化する（例：トピック切り替え）遷移が、制約付きで埋められた潜在空間によって可能であることを示すこと。

提案手法

• 事後分布の平均を学習された確率単体に制約することで、すべての操作された潜在コードが潜在空間の高密度領域内に保たれることを保証する。
• 学習された単体に直交性を強制する正則化項を追加し、分離性と安定性を向上させる。
• 単体が密に埋められるよう、もう一つの正則化項を導入し、潜在空洞を最小限に抑え、一般化性能を向上させる。
• 両正則化項を組み込んだ変更済みのVAE目的関数を用いてモデルを学習し、制約付き空間全体にわたる一般化を保証する。
• 単体内での補間や切り替えを実行することで条件付き生成を実現し、細分化されたスタイル制御を可能にする。
• 位相的データ解析を用いて、標準的なテキストVAEにおける潜在空洞の存在と深刻さを実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 画像生成では成功しているにもかかわらず、なぜ標準的な系列VAEは潜在コードの操作において意味のあるテキストを生成できないのか？
• RQ2 集約事後分布における潜在空洞が、テキストVAEのデコード失敗にどの程度寄与しているのか？
• RQ3 事後分布の平均を学習された確率単体に制約することで、潜在空洞を軽減し、教師なしで制御可能なテキスト生成を可能にすることができるか？
• RQ4 CP-VAEは、教師ありおよび事前学習モデルと比較して、テキストスタイル変換において競争力のある性能を達成できるか？
• RQ5 教師なしモデルを用いて、自然で流暢な方法で、1文内での細分化されたスタイル遷移（例：トピック切り替え）を実現できるか？

主な発見

• CP-VAEは、すべての教師なしベースラインおよび強力な教師ありベースラインを上回り、B-GSTなどの最先端モデルと同等のGleuスコアを達成する。
• 事前学習言語モデルやアノテーション済み属性に依存せず、高品質で多様性に富み、流暢な出力を達成する。
• CP-VAEは、自然な文内トピック遷移を可能にし、モデルが文の途中でトピックをスムーズに切り替えつつ、文の流れと一貫性を保つ。
• 位相的データ解析により、テキストVAEにおける潜在空洞が画像VAEよりも著しく深刻であることが確認され、核心的な問題が裏付けられた。
• 学習された確率単体は密に埋められており、直交的であるため、生成過程における時間ステップごとの操作に対しても堅牢である。
• 事前学習モデル（例：GPT-2）を用いた教師ありモデルと同等の結果を、教師なしでスクラッチから学習したにもかかわらず達成している。