[論文レビュー] Character-level Convolutional Networks for Text Classification

Xiang Zhang, Junbo Zhao+1 more|arXiv (Cornell University)|Sep 4, 2015

Topic Modeling参考文献 30被引用数 3,267

ひとこと要約

この論文は文字レベルのConvNetを用いたテキスト分類を経験的に評価し、語彙レベルの表現に依存せずに、大規模データセットで競争力のある、あるいは最先端の結果を示します。

ABSTRACT

This article offers an empirical exploration on the use of character-level convolutional networks (ConvNets) for text classification. We constructed several large-scale datasets to show that character-level convolutional networks could achieve state-of-the-art or competitive results. Comparisons are offered against traditional models such as bag of words, n-grams and their TFIDF variants, and deep learning models such as word-based ConvNets and recurrent neural networks.

研究の動機と目的

• 語彙レベルの表現ではなく文字レベルの信号でテキスト分類を動機づける。
• 深い文字レベルConvNets が大規模データセットで競争力のある、または最先端の結果を達成できることを示す。
• 伝統的なモデルや語彙ベースの深層学習アプローチと、さまざまなタスクで文字レベルConvNetsを比較する。
• データセットサイズ、アルファベットの選択、データ拡張がモデル性能に与える影響を調査する。

提案手法

• 70文字アルファベット入力で動作する2つの9層文字レベルConvNets（大規模と小規模）を使用する。
• 1次元の時系列畳み込みを複数のカーネルサイズとプーリングとともに適用し、全結合層とドロップアウトを続ける。
• SGD（モーメンタム付き）と特定の学習率スケジュール、Torch7実装を用いて学習する。
• 固定長のワンホット文字ベクトルとして入力を量子化し、系列内の直近の文字を優先する。
• 語彙集ベースの同義語置換によるデータ拡張で一般化を改善する。
• Bag-of-Words/TFIDF、Bag-of-N-grams、Bag-of-means、LSTM、事前学習済み埋め込み付き/なしの語彙ベースConvNetと比較する。

実験結果

リサーチクエスチョン

• RQ1 語彙レベルのトークンなしで文字レベルConvNetsはテキスト分類で競争力を示せるか？
• RQ2 大規模データセットにおいて、文字レベルモデルは従来モデルや語彙レベルの深層学習アプローチとどう比較されるか？
• RQ3 データセットサイズ、アルファベット選択、データ拡張はモデル性能にどのような影響を及ぼすか？
• RQ4 文字レベルConvNetsは、ユーザー生成テキストのようにより整理されていないデータに対して頑健か？
• RQ5 大規模データに対しては、 uppercase vs lowercase の識別は有益か、それとも性能を悪化させるか？

主な発見

モデル	AG	Sogou	DBP.	Yelp P.	Yelp F.	Yahoo A.	Amz F.	Amz P.
BoW	11.19	7.15	3.39	7.76	42.01	31.11	45.36	9.60
BoW TFIDF	10.36	6.55	2.63	6.34	40.14	28.96	44.74	9.00
ngrams	7.96	2.92	1.37	4.36	43.74	31.53	45.73	7.98
ngrams TFIDF	7.64	2.81	1.31	4.56	45.20	31.49	47.56	8.46
Bag-of-means	16.91	10.79	9.55	12.67	47.46	39.45	55.87	18.39
LSTM	13.94	4.82	1.45	5.26	41.83	29.16	40.57	6.10
Lg. w2v Conv.	9.92	4.39	1.42	4.60	40.16	31.97	44.40	5.88
Sm. w2v Conv.	11.35	4.54	1.71	5.56	42.13	31.50	42.59	6.00
Lg. w2v Conv. Th.	9.91	-	1.37	4.63	39.58	31.23	43.75	5.80
Sm. w2v Conv. Th.	10.88	-	1.53	5.36	41.09	29.86	42.50	5.63
Lg. Lk. Conv.	8.55	4.95	1.72	4.89	40.52	29.06	45.95	5.84
Sm. Lk. Conv.	10.87	4.93	1.85	5.54	41.41	30.02	43.66	5.85
Lg. Lk. Conv. Th.	8.93	-	1.58	5.03	40.52	28.84	42.39	5.52
Sm. Lk. Conv. Th.	9.12	-	1.77	5.37	41.17	28.92	43.19	5.51
Lg. Full Conv.	9.85	8.80	1.66	5.25	38.40	29.90	40.89	5.78
Sm. Full Conv.	11.59	8.95	1.89	5.67	38.82	30.01	40.88	5.78
Lg. Full Conv Th.	9.51	-	1.55	4.88	38.04	29.58	40.54	5.51
Sm. Full Conv Th.	10.89	-	1.69	5.42	37.95	29.90	40.53	5.66
Lg. Conv.	12.82	4.88	1.73	5.89	39.62	29.55	41.31	5.51
Sm. Conv.	15.65	8.65	1.98	6.53	40.84	29.84	40.53	5.50
Lg. Conv Th.	13.39	-	1.60	5.82	39.30	28.80	40.45	4.93
Sm. Conv Th.	14.80	-	1.85	6.49	40.16	29.84	40.43	5.67

• 文字レベルConvNetsは語彙に依存せずテキスト分類に有効である可能性がある。
• 大規模で整備されていない、百万規模のデータセットは、伝統的手法より文字レベルConvNetsを有利にする傾向がある。
• 語彙集ベースのデータ拡張は文字レベルモデルの性能を改善する。
• アルファベット選択（大文字と小文字の区別）は、大規模データセットを用いる場合には性能を害することが多く、区別しない方が正則化となる。
• 語彙ベースの深層モデルは小規模なデータセットで仍然上回ることがあるが、非常に大規模なデータセットでは文字レベルConvNetsがそれらを凌駕する。
• 最良の結果は大規模データセットで得られ、文字レベルConvNetsが複数のベースラインを上回る。