[論文レビュー] Multi-channel CNN to classify nepali covid-19 related tweets using hybrid features

Chiranjibi Sitaula, Tej Bahadur Shahi|arXiv (Cornell University)|Mar 19, 2022

Misinformation and Its Impacts参考文献 24被引用数 4

ひとこと要約

本論文は、ネパール語のCOVID-19ツイートを肯定的、ニュートラル、否定的という感情に分類するために、構文的特徴（bag-of-words）と意味的特徴（fastText/ドメイン特化型埋め込み）を組み合わせたハイブリッド特徴抽出を実装したマルチチャネルCNN（MCNN）を提案する。MCNNモデルは、チャネル別学習とアンサンブル統合によりマルチスケール特徴を効果的に捉えることで、NepCOV19Tweetsデータセットで71.3%の分類精度を達成し、既存手法を上回った。

ABSTRACT

Because of the current COVID-19 pandemic with its increasing fears among people, it has triggered several health complications such as depression and anxiety. Such complications have not only affected the developed countries but also developing countries such as Nepal. These complications can be understood from peoples' tweets/comments posted online after their proper analysis and sentiment classification. Nevertheless, owing to the limited number of tokens/words in each tweet, it is always crucial to capture multiple information associated with them for their better understanding. In this study, we, first, represent each tweet by combining both syntactic and semantic information, called hybrid features. The syntactic information is generated from the bag of words method, whereas the semantic information is generated from the combination of the fastText-based (ft) and domain-specific (ds) methods. Second, we design a novel multi-channel convolutional neural network (MCNN), which ensembles the multiple CNNs, to capture multi-scale information for better classification. Last, we evaluate the efficacy of both the proposed feature extraction method and the MCNN model classifying tweets into three sentiment classes (positive, neutral and negative) on NepCOV19Tweets dataset, which is the only public COVID-19 tweets dataset in Nepali language. The evaluation results show that the proposed hybrid features outperform individual feature extraction methods with the highest classification accuracy of 69.7% and the MCNN model outperforms the existing methods with the highest classification accuracy of 71.3% during classification.

研究の動機と目的

• 短いテキスト長と文脈特徴の欠如により、従来のNLP手法が制限を受ける低リソース言語（ネパール語）における感情分類の課題に対処する。
• bag-of-words や単語埋め込みのみに依存する単一特徴アプローチの限界を克服するため、構文的および意味的情報を統合してツイート表現を向上させる。
• ハイブリッド特徴からマルチスケールの特徴を抽出できる、新たなマルチチャネルCNNアーキテクチャを設計し、分類性能を向上させる。
• 公開可能なネパール語のCOVID-19ツイートデータセットを用いて、提案手法の有効性を実証する。これはネパール語において唯一の同種のデータセットである。
• ドメイン特化型および事前学習済み埋め込みを深層学習モデルと統合することで、将来のネパール語NLP研究の強固なベースラインを確立する。

提案手法

• bag-of-words（構文的）とfastTextベースおよびドメイン特化型単語埋め込み（意味的）を組み合わせることでハイブリッド特徴を構築し、ツイート表現を豊かにする。
• 4つの並列畳み込みブランチ（BoW、fastText、ドメイン特化型、ハイブリッド特徴の連結）を備えたマルチチャネルCNN（MCNN）を設計する。
• 1次元畳み込み層にReLU活性化関数とマックスプーリングを適用し、各チャネルから局所的でマルチスケールの特徴を抽出した後、グローバル平均プーリングを実行する。
• 4つのチャネルの出力を平均ベースの意思決定統合戦略で統合し、高信頼度および低信頼度の予測をバランスさせる。
• 確率的勾配降下法とカテゴリカル交差エントロピー損失、Adam最適化アルゴリズムを用いてMCNNモデルをエンドツーエンドで学習する。
• 10分割交差検証と統計的有意性検定（p値 < 2.2e-16）を用いてモデル性能を評価し、妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 構文的および意味的情報を統合したハイブリッド特徴抽出は、個別の特徴タイプ（BoW、fastText、ドメイン特化型）と比較して、低リソースのネパール語ツイートにおける感情分類性能を向上させることができるか？
• RQ2 複数の特徴タイプを並列処理するマルチチャネルCNNアーキテクチャは、ネパール語のCOVID-19ツイート分類において、単一チャネルモデルを上回る性能を示すか？
• RQ3 複数のCNNチャネルからの予測を統合する際、和、最大値、平均のどの意思決定統合戦略が最も安定的かつ正確な分類結果をもたらすか？
• RQ4 MCNNモデルは、肯定的、ニュートラル、否定的という各感情クラスにおいて、精度、再現率、F1スコアの観点でどの程度の性能を示すか？
• RQ5 提案手法は複数の交差検証フォールドにわたり、統計的に有意かつ頑健な性能を示すか？

主な発見

• 提案されたハイブリッド特徴抽出手法は、69.7%の最高分類精度を達成し、個別の特徴タイプ（BoW、fastText、ドメイン特化型）を上回った。
• MCNNモデルは、NepCOV19Tweetsデータセットで71.3%の最先端の分類精度を達成し、既存手法を上回った。
• 平均ベースの意思決定統合戦略が最も安定した性能を示し、各クラスにおける高信頼度および低信頼度の予測を保持した。
• MCNNモデルは、否定的クラスに対して精度73.3%、再現率75.1%、F1スコア74.2%を達成した。肯定的クラスでは、精度68.8%、再現率83.3%を記録した。
• 統計的分析により、モデルの頑健性が確認され、精度の95%信頼区間は[71.0, 71.5]であり、すべての指標でp値 < 2.2e-16であった。
• アブレーションスタディの結果、各個別のチャネルが特徴の識別性を寄与しており、特にチャネルC3が肯定的ツイートに対して最高のF1スコア（75.4%）を記録した。また、全MCNNはすべての指標で単一チャネルモデルを上回った。