[論文レビュー] Improved Variational Autoencoders for Text Modeling using Dilated Convolutions

Zichao Yang, Zhiting Hu+2 more|arXiv (Cornell University)|Feb 26, 2017

Topic Modeling参考文献 23被引用数 241

ひとこと要約

この論文は、テキスト用の拡張畳み込みニューラルネットワークデコーダをVAEに用いると、デコーダの文脈容量を慎重に制御した場合、標準のLSTM言語モデルを上回ることができ、半教師あり分類と非監督クラスタリングに対する利点を示す。

ABSTRACT

Recent work on generative modeling of text has found that variational auto-encoders (VAE) incorporating LSTM decoders perform worse than simpler LSTM language models (Bowman et al., 2015). This negative result is so far poorly understood, but has been attributed to the propensity of LSTM decoders to ignore conditioning information from the encoder. In this paper, we experiment with a new type of decoder for VAE: a dilated CNN. By changing the decoder's dilation architecture, we control the effective context from previously generated words. In experiments, we find that there is a trade off between the contextual capacity of the decoder and the amount of encoding information used. We show that with the right decoder, VAE can outperform LSTM language models. We demonstrate perplexity gains on two datasets, representing the first positive experimental result on the use VAE for generative modeling of text. Further, we conduct an in-depth investigation of the use of VAE (with our new decoding architecture) for semi-supervised and unsupervised labeling tasks, demonstrating gains over several strong baselines.

研究の動機と目的

• LSTMデコーダをもつテキストVAEsがLSTMと比較して性能が劣る理由を調査し、VAEsが言語モデルを上回る条件を特定する。
• デコーダに利用可能な文脈容量を柔軟に制御するための拡張畳み込みCNNデコーダを提案する。
• 提案したデコーダを用いて2つのデータセットで言語モデリングの改善を実証し、半教師ありおよび非監督のテキストタスクを探索する。

提案手法

• テキストモデリングにおけるLSTMデコーダの代わりに拡張畳み込みCNNデコーダを導入する。
• 拡張パターンとネットワーク深さを用いてデコーダの文脈容量を体系的に変化させ、潜在変数への依存を研究する。
• LSTMエンコーダを用いて q(z|x) を生成し、ガウス事前分布 p(z) を用いる。z をデコーダ入力と結合する。
• 変分下限とKLアニーリングで学習し、後部崩壊を防ぐ。
• LSTM言語モデルとして事前学習することによるエンコーダ初期化を検討し、VAEの性能を向上させる。
• Gumbel-Softmaxを離散ラベルに用いて、半教師あり分類と非監督クラスタリングへフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 制御可能な文脈容量を持つ拡張畳み込みCNNデコーダは、テキストVAEsをLSTM言語モデルよりも優れたものにできるか？
• RQ2 デコーダ容量は、モデルの潜在表現の利用（KL項）および全体のパープレキシティにどう影響するか？
• RQ3 強力なベースラインと比較して、拡張畳み込みCNN VAEは半教師ありテキスト分類および非監督クラスタリングに有益か？

主な発見

• 適切な文脈容量を持つ拡張畳み込みCNNデコーダは、2つのデータセットでVAEsをLSTM言語モデルを上回らせる。
• 実効的な文脈窓が小さいほどデコーダは潜在変数へより依存するようになり、KLが増加し潜在表現が向上する。
• 大きなデコーダは潜在変数への依存を減らし、VAEの利得を減じ、非常に大きなデコーダは純粋なLMベースラインと同等の性能を示す。
• 事前学習済みのLSTM言語モデルパラメータを用いてVAEエンコーダを初期化すると、NLLとパープレキシティがさらに改善される。
• 半教師あり設定で、特定の拡張畳み込みCNN VAE（例：SCNN-VAE-Semi）は、ラベル付きデータが限られている場合にベースラインより高い分類精度を達成し、エンコーダの初期化が性能を後押しする。
• Yahooデータでの非監督クラスタリングでは、初期化を用いたSCNN-VAEがGMMを用いるベースラインより顕著な向上を達成。