[論文レビュー] Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Feb 7, 2016

Text and Document Classification Technologies参考文献 17被引用数 126

ひとこと要約

論文は region embedding + pooling フレームワーク内で one-hot LSTM ベースの region embedding を導入し、LSTM ベースの region embedding（特に双方向）が従来手法を上回り、LSTM と CNN の region embedding の組み合わせ（半教師あり学習を unlabeled data を含む） が複数のベンチマークで最先端の結果をもたらすことを示します。

ABSTRACT

One-hot CNN (convolutional neural network) has been shown to be effective for text categorization (Johnson & Zhang, 2015). We view it as a special case of a general framework which jointly trains a linear model with a non-linear feature generator consisting of `text region embedding + pooling'. Under this framework, we explore a more sophisticated region embedding method using Long Short-Term Memory (LSTM). LSTM can embed text regions of variable (and possibly large) sizes, whereas the region size needs to be fixed in a CNN. We seek effective and efficient use of LSTM for this purpose in the supervised and semi-supervised settings. The best results were obtained by combining region embeddings in the form of LSTM and convolution layers trained on unlabeled data. The results indicate that on this task, embeddings of text regions, which can convey complex concepts, are more useful than embeddings of single words in isolation. We report performances exceeding the previous best results on four benchmark datasets.

研究の動機と目的

• Fixed-size CNN の region に依存せず、テキスト分類の一般的なフレームワークとして region-based embeddings を推奨する。
• 効率と性能のために word embedding レイヤを排除した簡易な one-hot LSTM アプローチを提案する。
• accuracy を改善するため unlabeled data から LSTM tv-embeddings を学習し semi-supervised 学習を探索する。
• ベンチマークデータセットで supervised および semi-supervised モデルを評価し、既存手法と比較する。
• unlabeled data で訓練された LSTM と CNN region embeddings の組み合わせがさらなる利点をもたらすことを示す。

提案手法

• テキスト分類を region embedding + pooling のフレームとして捉える。
• region embedding ジェネレータとして word embedding レイヤを使わず one-hot LSTM を用いる。
• プーリングを適用して region embedding を文書表現へ統合する。
• 学習を速くするためにゲートを剪定（入力ゲート/出力ゲートを削除）するオプションを追加し、精度を維持する。
• 改善された性能のための bidirectional one-hot LSTM with pooling（oh-2LSTMp）を導入する。
• semi-supervised 設定では unlabeled data から LSTM tv-embeddings を学習し、 supervised training 中は固定 tv-embeddings として追加入力として組み込む。
• LSTM tv-embeddings を CNN tv-embeddings と組み合わせて相補的な強みを活用する。

実験結果

リサーチクエスチョン

• RQ1 one-hot LSTM によって学習された region embeddings は text categorization のための固定サイズ region embeddings（one-hot CNN 由来）を上回るか？
• RQ2 word embedding レイヤを削除し pooling/ chopping を採用することで訓練効率と精度は改善されるか？
• RQ3 unlabeled data を活用して supervise 表現を改善する意味ある region embeddings（tv-embeddings）を学習できるか？
• RQ4 LSTM tv-embeddings と CNN tv-embeddings は組み合わせると相補的か？
• RQ5 supervised および semi-supervised の LSTM ベース region embeddings は prior state-of-the-art 手法と比較してどうか？

主な発見

Method	IMDB	Elec	RCV1	20NG
SVM bow	11.36	11.71	10.76	17.47
SVM 1–3grams	9.42	8.71	10.69	15.85
wv-LSTM	13.50	11.74	16.04	18.00
oh-2LSTMp	8.14	7.33	11.17	13.32
oh-CNN	8.39	7.64	9.17	13.64

• Oh-2LSTMp（one-hot bidirectional LSTM with pooling）は IMDB、Elec、20NG で wv-LSTM および oh-CNN を上回り、従来の CNN ベースラインと同等かそれ以上の成績を示す。
• semi-supervised 設定では unlabeled data で学習した LSTM tv-embeddings を用いた oh-2LSTMp が IMDB、Elec、RCV1 で改善をもたらす。
• LSTM tv-embeddings と CNN tv-embeddings を組み合わせると、それぞれ単独よりも追加の性能向上が得られる。
• テストデータセットにおける最良の supervised 結果は prior の最高記録を上回り、oh-2LSTMp は Table 3 で 8.14（IMDB）、7.33（Elec）、13.32（20NG）、oh-CNN はそれぞれ 8.39、7.64、9.17、13.64 を達成する。
• semi-supervised の tv-embeddings を用いた結果は supervised ベースラインおよび prior semi-supervised 手法を大幅に上回る。
• テキスト領域の埋め込みは、個々の単語埋め込みだけよりも高レベルの概念をより効果的に伝える。