[論文レビュー] Toward Controlled Generation of Text

Zhiting Hu, Zichao Yang+3 more|arXiv (Cornell University)|Mar 2, 2017

Topic Modeling参考文献 34被引用数 149

ひとこと要約

この論文は、 holistic attribute discriminators を組み込んだVAEベースのテキスト生成器を提示し、 wake-sleep スタイルの訓練と離散テキストの微分可能な softmax 近似を用いて、分離可能で制御可能な文の生成を実現する。

ABSTRACT

Generic generation and manipulation of text is challenging and has limited success compared to recent deep generative modeling in visual domain. This paper aims at generating plausible natural language sentences, whose attributes are dynamically controlled by learning disentangled latent representations with designated semantics. We propose a new neural generative model which combines variational auto-encoders and holistic attribute discriminators for effective imposition of semantic structures. With differentiable approximation to discrete text samples, explicit constraints on independent attribute controls, and efficient collaborative learning of generator and discriminators, our model learns highly interpretable representations from even only word annotations, and produces realistic sentences with desired attributes. Quantitative evaluation validates the accuracy of sentence and attribute generation.

研究の動機と目的

• interpretable latent representations に基づく controllable, realistic text generation の必要性を動機づける。
• 生成文における disentanbled, independent attribute controls を強制するニューラルモデルを開発する。
• 識別器を活用した wake-sleep 協調学習を通じて semi-supervised 学習を実現する。
• 感情と時制の制御を示し、妥当な短文を提示する。
• 単語レベルのラベルが文レベルの属性制御と disentanglement を誘導できることを示す。

提案手法

• 属性を explicit に表現する構造化潜在コード c を持つ VAEs を拡張する（例：感情、時制）。
• 離散テキストの微分可能な softmax 近似を用いて生成を導くために、属性ごとに識別器を付与する。
• encoder を追加の識別器として機能させ、z（構造化されていないコード）と c の独立性を促進する。
• 生成サンプルがジェネレータと識別器の双方を訓練するのを助ける拡張 woke-sleep トレーニングループを採用する。
• ラベル付きデータで識別器を訓練しつつ、ラベルなしデータを VAE 再構成に使用して半教師あり学習を可能にする。
• 生成サンプルの識別器予測の頑健性を高めるため、最小エントロピー正則化を組み込む。

実験結果

リサーチクエスチョン

• RQ1 分離された属性コードが、他の特徴と絡むことなく生成文を制御できるか？
• RQ2 holistic attribute discriminator フレームワークは、再構成ベースの方法と比べて制御可能なテキスト生成を改善するか？
• RQ3 限られた属性ラベルを半教師あり学習で効果的に活用して、制御可能な生成を学習できるか？
• RQ4 構造化と非構造化潜在コード間の独立性を保つ制約は実現可能で、解釈性に有益か？
• RQ5 語彙レベルの注釈や部分的注釈で文レベルの属性制御（例：感情、時制）を誘導できるか？

主な発見

• 提案モデルは SST-full、SST-small、Lexicon データセットで、感情属性生成の精度を S-VAE と比較して向上させる（SST-full: 0.851 対 0.822、SST-small: 0.707 対 0.679、Lexicon: 0.701 対 0.660）。
• independency 制約を用いた分離表現は、属性コードを変える際の解釈可能性を高め、制約なしのモデルと比べてより解釈可能な変化を生み出す。
• 単語レベルのラベルや少数のラベル付き文だけで有用な感情・時制の制御を学習でき、文レベルの属性操作が効果的になる。
• 生成サンプルを訓練データに追加して下流の感情分類器を改善できる。
• sleep/wake のような訓練手法は、ジェネレータと識別器の間で効率的な相互ブーストラップを可能にし、限られた監視で半教師あり学習を達成する。