[論文レビュー] Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Aug 31, 2016

Topic Modeling参考文献 6被引用数 39

ひとこと要約

この論文は、深層文字レベル畳み込みニューラルネットワーク（char-CNN）の評価に用いられた8つの大規模テキスト分類データセットに対して、浅い単語レベル畳み込みニューラルネットワーク（word-CNN）の性能を評価している。パラメータ数が多く、ストレージをより必要とするものの、word-CNNは深層char-CNNよりも誤差率が低く、推論速度も著しく速い。これは、学習済みtv-embeddingを用いた単語レベル表現を用いることで、大規模な学習データにおいて優れた性能と効率性を発揮することを示している。

ABSTRACT

This paper reports the performances of shallow word-level convolutional neural networks (CNN), our earlier work (2015), on the eight datasets with relatively large training data that were used for testing the very deep character-level CNN in Conneau et al. (2016). Our findings are as follows. The shallow word-level CNNs achieve better error rates than the error rates reported in Conneau et al., though the results should be interpreted with some consideration due to the unique pre-processing of Conneau et al. The shallow word-level CNN uses more parameters and therefore requires more storage than the deep character-level CNN; however, the shallow word-level CNN computes much faster.

研究の動機と目的

• Conneauら（2016）が深層文字レベルCNNの評価に用いた8つの大規模テキスト分類データセットに対して、浅い単語レベルCNNの性能を評価すること。
• Conneauら（2016）で報告された非常に深いchar-CNNと比較して、浅いword-CNNの誤差率と推論速度を評価し、直接比較の空白を埋めること。
• テキスト分類における単語レベルCNNと文字レベルCNNのモデルサイズ、推論速度、精度のトレードオフを評価すること。
• tv-embeddingの次元数と数がword-CNNの性能およびパラメータ効率に与える影響を調査すること。

提案手法

• 研究では、Johnson & Zhang（2015）のアーキテクチャに基づく浅い単語レベルCNNを実装し、単語埋め込みを入力とし、ReLU活性化関数を用いた畳み込み層とマックスプーリングを適用する。
• 特徴表現を強化するために、無ラベルデータから学習されるtv-embeddingをモデルに組み込み、2つ、4つ、またはそれ以上の100または300次元のtv-embeddingベクトルを用いた設定を検討する。
• 入力シーケンスは固定長のパディングを施さない可変長ドキュメントとして処理されるが、char-CNNとは異なり、1014文字に切り詰めたりパディングしたりする戦略を取らない。
• モデル学習には確率的勾配降下法を用い、バッチ正規化とReLU非線形性を適用し、分類のための最終全結合層に注目する。
• 推論速度の比較のため、前処理を除き、Tesla M2070 GPU上で計算時間を測定する。
• 誤差率は、Conneauら（2016）で使用された同一のテストセットで報告され、深層char-CNNの結果と直接比較可能である。

実験結果

リサーチクエスチョン

• RQ1 浅い単語レベルCNNは、深層文字レベルCNNの評価に用いられた同じ8つの大規模テキスト分類データセットでどのように性能を発揮するか？
• RQ2 同じデータセットで学習した場合、浅いword-CNNはConneauら（2016）で報告された非常に深いchar-CNNよりも誤差率が低いか？
• RQ3 単語レベルCNNと文字レベルCNNの間で、モデルサイズ（パラメータ数）と推論速度のトレードオフはいかなるものか？
• RQ4 tv-embeddingの数と次元数は、word-CNNの性能およびパラメータ効率にどのように影響するか？
• RQ5 char-CNNにおける前処理戦略（例：固定長パディング）が、結果の比較可能性にどの程度影響を及えるか？

主な発見

• 4つの100次元tv-embeddingを用いた浅いword-CNNは、Yelp.fテストセットで32.39%の誤差率を達成し、同じデータセットで報告された深層char-CNNの35.28%の誤差率を上回った。
• 浅いword-CNNは、Dbpediaデータセットで0.84%の最低誤差率を記録し、同じデータで報告された深層char-CNNの3.05%の誤差率を大きく上回った。
• 300次元のtv-embeddingを用いたword-CNNは1億8400万パラメータを有するが、Yelp.fテストセットでの計算時間は72秒であり、深層char-CNNの700秒と比較して約10倍の高速さを示した。
• tv-embeddingの次元を300から100に低下させることでパラメータ数を半分に減らしたが、誤差率の上昇はわずか0.2%（32.39%から32.55%）にとどまり、非常に高いパラメータ効率を示した。
• 浅いword-CNNは、全8つのデータセットで一貫して深層char-CNNを上回り、誤差率はSogouで1.89%（Ama.fで36.52%）の範囲にあり、いずれも対応するchar-CNNの結果を下回った。
• 性能差の理由は、word-CNNが意味的単語表現を活用でき、スパース計算が効率的であるのに対し、深層char-CNNは処理すべきテキストユニットが多く、順方向層の依存関係に制限を受けるためであると考察される。