[論文レビュー] Variational Autoencoders for Semi-supervised Text Classification

Weidi Xu, Haoze Sun+2 more|arXiv (Cornell University)|Mar 8, 2016

Text and Document Classification Technologies被引用数 6

ひとこと要約

本稿では、各時刻ステップでデコーダーLSTMをクラスラベルに条件づけることで、無教師データの有効活用を可能にする半教師付き逐次変分オートエンコーダー（SSVAE）を提案する。この手法は、条件付きLSTMとサンプリングに基づく最適化戦略を組み合わせることで、分散と計算コストを低減し、IMDBおよびAG’s Newsで最先端の性能を達成する。

ABSTRACT

Although semi-supervised variational autoencoder (SemiVAE) works in image classification task, it fails in text classification task if using vanilla LSTM as its decoder. From a perspective of reinforcement learning, it is verified that the decoder's capability to distinguish between different categorical labels is essential. Therefore, Semi-supervised Sequential Variational Autoencoder (SSVAE) is proposed, which increases the capability by feeding label into its decoder RNN at each time-step. Two specific decoder structures are investigated and both of them are verified to be effective. Besides, in order to reduce the computational complexity in training, a novel optimization method is proposed, which estimates the gradient of the unlabeled objective function by sampling, along with two variance reduction techniques. Experimental results on Large Movie Review Dataset (IMDB) and AG's News corpus show that the proposed approach significantly improves the classification accuracy compared with pure-supervised classifiers, and achieves competitive performance against previous advanced methods. State-of-the-art results can be obtained by integrating other pretraining-based methods.

研究の動機と目的

• 標準LSTMをデコーダーとして使用する際、アンサンブル半教師付き変分オートエンコーダー（SemiVAE）がテキスト分類で失敗する理由を解明すること。
• 各デコーディングステップでラベル情報を統合することで、デコーダーの正しくないラベルと正しいラベルを区別する能力を向上させること。
• 無教師目的関数の勾配推定にサンプリングに基づく手法を提案することで、学習における計算複雑性を低減すること。
• 強化学習からのベースライン手法を用いた分散低減により、学習の安定性を高めること。
• 提案モデルがベンチマークテキスト分類データセットで競争力のある性能および最先端の性能を達成できることを示すこと。

提案手法

• 各時刻ステップでカテゴリカルラベルを入力することで、ラベルの識別を強化する条件付きLSTMデコーダーを導入する。
• ラベル情報がセル状態に統合されるCLSTM-Iと、入力ゲートに統合されるCLSTM-IIの2つの具体的な条件付きLSTM構造を提案する。
• 無教師目的関数の勾配推定にサンプリングに基づく最適化手法を考案し、計算コストを低減する。
• 強化学習からのベースライン手法を応用した2つの分散低減技術を適用し、学習の安定性を向上させる。
• 再構成と分類の両方で共有される潜在変数を有する、Seq2Seq構造と逐次分類器を組み合わせた変分オートエンコーダーフレームワークを採用する。
• 再パラメータ化トリックを用いて確率的潜在変数を介したバックプロパゲーションを可能とし、エンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準LSTMをデコーダーとして使用する際、アンサンブル半教師付き変分オートエンコーダー（SemiVAE）はテキスト分類で失敗するのか？
• RQ2 半教師付き設定において、デコーダーの異なるラベルを区別する能力をどのように向上させられるか？
• RQ3 サンプリングに基づく最適化手法は、半教師付きテキスト分類の精度を損なわずに学習の複雑性を低減できるか？
• RQ4 各デコーディングステップでラベル情報を統合することで、実世界のテキストデータセットにおける分類性能が向上するか？
• RQ5 事前学習手法と組み合わせた場合、提案手法は最先端の結果を達成できるか？

主な発見

• 提案されたSSVAEモデルは、2.5K個のラベル付きサンプルのみを用いてIMDBデータセットで10.3%の分類誤差率を達成し、教師ありLSTMよりも7.7ポイント優れている。
• CLSTM-IおよびCLSTM-IIの両構造は、標準LSTMデコーダーを大幅に上回る性能を示し、IMDBおよびAG’s Newsの両方で優れた結果を達成している。
• 事前学習ベースの手法と組み合わせた場合、IMDBデータセットで最先端の性能を達成している。
• KLダイバージェンス解析の結果、50個の潜在ユニットのうち約10個が非ゼロの値を保持しており、潜在空間における効果的な情報符号化が行われていることが示された。
• t-SNE可視化により、構文的および語彙的構造が類似する文が潜在空間でクラスタリングされていることが確認され、意味的およびラベル情報の分離が図られていることが示された。
• 同じ潜在コードから異なるラベルを用いて生成された文は、一貫した構文的構造を示し、感情が対照的であるため、モデルが生成をラベルに条件づけていることが示された。