[論文レビュー] Do Convolutional Networks need to be Deep for Text Classification ?

Hoa T. Le, Christophe Cerisara+1 more|arXiv (Cornell University)|Jul 13, 2017

Topic Modeling参考文献 31被引用数 70

ひとこと要約

この論文は文字入力と語彙入力を用いたテキスト分類の浅いCNNと深いCNNを比較し、浅い語彙レベルのCNNが深い文字モデルを上回ることが多く、いくつかのデータセットで最先端と同等またはそれを上回る。テキスト用 DenseNet の適用も報告。

ABSTRACT

We study in this work the importance of depth in convolutional models for text classification, either when character or word inputs are considered. We show on 5 standard text classification and sentiment analysis tasks that deep models indeed give better performances than shallow networks when the text input is represented as a sequence of characters. However, a simple shallow-and-wide network outperforms deep models such as DenseNet with word inputs. Our shallow word model further establishes new state-of-the-art performances on two datasets: Yelp Binary (95.9\%) and Yelp Full (64.9\%).

研究の動機と目的

• 文字ベースおよび語彙ベースの入力に対するテキスト分類性能におけるネットワーク深度の影響を評価する。
• 浅く広い CNN を深い CNN と DenseNet 風アーキテクチャと比較する。
• 深さが最も恩恵を受ける入力粒度は文字か単語かを特定する。
• 語彙レベルの浅いモデルを用いたいくつかのデータセットで最先端の結果を示す。

提案手法

• 複数のフィルター幅とグローバル最大プーリングを備えた Kim (2014) 由来の浅く-広い CNN を実装する。
• 語彙レベルでの DenseNet アーキテクチャをテキスト用に適応し、文字レベルのバリアントと比較する。
• Adam 最適化で標準化されたハイパーパラメータを用いて五つのデータセットでモデルを訓練し、精度を報告する。
• 埋め込み表現を用いる：語彙入力には事前学習済み word2vec、文字入力には1-hot 文字エンコーディングを使用。
• 広範なベースラインと既存の最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 深さは文字レベルのテキスト分類モデルに有意な利点をもたらすか。
• RQ2 深さは語レベルのテキスト分類に利益をもたらすか、浅い語レベルモデルが最先端の結果を達成またはそれを上回ることは可能か。
• RQ3 深さを変えたとき、標準的なテキスト分類データセットで文字レベルと語レベルの入力はどう比較されるか。
• RQ4 DenseNet風のテキストモデルはどちらの入力レベルで性能を改善できるか。

主な発見

モデル	AGNews	Yelp Binary	Yelp Full	DBPedia	Yahoo
Char shallow-and-wide CNN	90.7	94.4	60.3	98.0	70.2
Char-DenseNet Nb(4-4-4-4) Global Average-Pooling	90.4	94.2	61.1	97.7	68.8
Char-DenseNet Nb(10-10-4-4) Global Average-Pooling	90.6	94.9	62.1	98.2	70.5
Char-DenseNet Nb(4-4-4-4) Local Max-Pooling	90.5	95.0	63.6	98.5	72.9
Char-DenseNet Nb(10-10-4-4) Local Max-Pooling	92.1	95.0	64.1	98.5	73.4
Word shallow-and-wide CNN	92.2	95.9	64.9	98.7	73.0
Word-DenseNet Nb(4-4-4-4) Global Average-Pooling	91.7	95.8	64.5	98.7	70.4
Word-DenseNet Nb(10-10-4-4) Global Average-Pooling	91.4	95.5	63.6	98.6	70.2
Word-DenseNet Nb(4-4-4-4) Local Max-Pooling	90.9	95.4	63.0	98.0	67.6
Word-DenseNet Nb(10-10-4-4) Local Max-Pooling	88.8	95.0	62.2	97.3	68.4

• 深い文字レベルモデルは浅いモデルより若干の利得を示すが、データセット間で一貫して優れていない。
• 浅く-広い語レベル CNN は強力な性能を達成し、語レベルで深いモデルと互換的にまたはそれを上回ることが多い。
• 語レベルの浅いモデルは Yelp Binary (95.9%) および Yelp Full (64.9%) で最先端の結果を達成。
• DenseNet 風の語レベル変種は浅い語レベル CNN に近づくことはあるが、一貫して上回るわけではない。
• 全体として、深いモデルはテキスト分類で浅いモデルを普遍的に上回らない；深さの利点はデータセットと入力に依存する。
• 文字の深さの改善は語の深さの改善より顕著だが、語レベルの浅いモデルは依然高い効果を持つ。