[論文レビュー] TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification

Sanskar Soni, Satyendra Singh Chouhan+1 more|arXiv (Cornell University)|Mar 10, 2022

Topic Modeling被引用数 7

ひとこと要約

TextConvoNetは、文単位の埋め込み行列にテキスト入力を再形式化することで、文内および文間のn-gram特徴を捉える2次元畳み込みニューラルネットワークアーキテクチャを提案する。これにより、マルチスケールで2次元畳み込み演算が可能となり、5つのベンチマークテキスト分類データセットにおいて最先端のモデルを上回り、少データ学習状況下でも優れた正確性、F1スコア、耐性を示した。

ABSTRACT

In recent years, deep learning-based models have significantly improved the Natural Language Processing (NLP) tasks. Specifically, the Convolutional Neural Network (CNN), initially used for computer vision, has shown remarkable performance for text data in various NLP problems. Most of the existing CNN-based models use 1-dimensional convolving filters n-gram detectors), where each filter specialises in extracting n-grams features of a particular input word embedding. The input word embeddings, also called sentence matrix, is treated as a matrix where each row is a word vector. Thus, it allows the model to apply one-dimensional convolution and only extract n-gram based features from a sentence matrix. These features can be termed as intra-sentence n-gram features. To the extent of our knowledge, all the existing CNN models are based on the aforementioned concept. In this paper, we present a CNN-based architecture TextConvoNet that not only extracts the intra-sentence n-gram features but also captures the inter-sentence n-gram features in input text data. It uses an alternative approach for input matrix representation and applies a two-dimensional multi-scale convolutional operation on the input. To evaluate the performance of TextConvoNet, we perform an experimental study on five text classification datasets. The results are evaluated by using various performance metrics. The experimental results show that the presented TextConvoNet outperforms state-of-the-art machine learning and deep learning models for text classification purposes.

研究の動機と目的

• 従来の1次元CNNモデルが単語埋め込みから文内n-gram特徴しか抽出できないという制限を解消すること。
• 多次元畳み込みがテキストデータにおける文間関係を捉えることができるかどうかを検証すること。
• 2次元畳み込み演算をテキスト系列に適用可能な新しい入力表現を設計すること。
• TextConvoNetの性能を二値分類および多クラス分類ベンチマークで評価すること。
• 限られた学習データがある状況下での少データ学習設定における一般化能力を示すこと。

提案手法

• 各行が単語ベクトル、各列が文に対応する文書レベルの埋め込み行列として入力テキストを表現し、2次元畳み込みを可能にする。
• 行列全体にマルチスケールの2次元畳み込みフィルタを適用し、文内および文間のn-gram特徴を抽出する。
• 空間次元を低減させるとともに顕著な特徴を保持するため、2次元のマックスプーリングを適用する。
• 複数のフィルタからの特徴マップを連結し、全結合分類層に供給する。
• 異なるフィルタサイズおよびプーリング戦略を用いた複数のバリアント（TextConvoNet_4、TextConvoNet_6）を採用し、性能最適化を図る。
• 入力表現および2次元畳み込みのモデル精度への影響を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 2次元畳み込みアーキテクチャは、文内特徴に加えて文間n-gram特徴を効果的に捉えることができるか？
• RQ2 2次元文書レベル埋め込み行列に再形式化することで、標準の1次元CNNと比較してテキスト分類性能が向上するか？
• RQ3 少データ環境下、特に少データ学習状況下でTextConvoNetはどのように性能を発揮するか？
• RQ4 このアーキテクチャにおける2次元畳み込み層の最適なフィルタサイズおよびプーリング戦略は何か？
• RQ5 多様なテキスト分類ベンチマークにおいて、TextConvoNetは最先端のモデルと比較してどのように差をつけるか？

主な発見

• TextConvoNetは、データセット2において最高の正確性（0.901）およびF1スコア（0.883）を達成し、すべてのベースラインモデルを上回った。
• 多クラスデータセット（データセット4）では、TextConvoNet_6が正確性0.829、F1スコア0.573を達成し、少データ設定下で全モデル中最も低いテスト誤差率を示した。
• 少データ学習において優れた一般化能力を示し、学習データの10％しか使用しなくても、低テスト誤差率を維持した。
• アブレーションスタディの結果、2次元畳み込み演算および文書レベルの入力表現が1次元CNNベースラインと比較して性能向上に顕著に寄与することが確認された。
• TextConvoNet_6は、すべての指標でTextConvoNet_4を常に上回り、より大きなフィルタサイズが特徴抽出を強化することを示した。
• mサイズのフィルタを用いたデータセット2では、G-mean2スコアが0.896に達し、すべてのクラスにわたるバランスの取れた性能を示した。