[論文レビュー] L3CubeMahaSent: A Marathi Tweet-based Sentiment Analysis Dataset

Atharva Kulkarni, Meet Mandhane+3 more|arXiv (Cornell University)|Mar 21, 2021

Sentiment Analysis and Opinion Mining参考文献 32被引用数 6

ひとこと要約

本論文は、3つのクラス（肯定的、否定的、ニュートラル）に分類された約16,000件の手動アノテーション付きツイートを含む、マーラチ語のツイター投稿に基づく感情分析用の大規模で公開可能なデータセット「L3CubeMahaSent」を紹介する。研究では、CNN、BiLSTM、ULMFiT、mBERT、IndicBERTといった複数のディープラーニングモデルを評価し、IndicBERTが3クラス分類で最高の正確度（84.13％）を達成した一方、可訓練なIndic fastText埋め込みを用いたCNNが2クラス分類で最高の性能（93.13％）を示した。

ABSTRACT

Sentiment analysis is one of the most fundamental tasks in Natural Language Processing. Popular languages like English, Arabic, Russian, Mandarin, and also Indian languages such as Hindi, Bengali, Tamil have seen a significant amount of work in this area. However, the Marathi language which is the third most popular language in India still lags behind due to the absence of proper datasets. In this paper, we present the first major publicly available Marathi Sentiment Analysis Dataset - L3CubeMahaSent. It is curated using tweets extracted from various Maharashtrian personalities' Twitter accounts. Our dataset consists of ~16,000 distinct tweets classified in three broad classes viz. positive, negative, and neutral. We also present the guidelines using which we annotated the tweets. Finally, we present the statistics of our dataset and baseline classification results using CNN, LSTM, ULMFiT, and BERT-based deep learning models.

研究の動機と目的

• マーラチ語—低リソースのインド語—における公開可能で大規模な感情分析データセットの不足を解消すること。
• ディープラーニングベースの感情分類を支援する高品質な手動アノテーション付きマーラチ語ツイートデータセットを構築すること。
• 最新のモデル（CNN、BiLSTM、ULMFiT、およびBERT変種）を用いてマーラチ語の感情分析のベンチマークを確立すること。
• NLP研究の加速を図るため、再利用可能な事前学習済み埋め込みおよび微調整済みモデルを提供すること。
• マーラチ語におけるヘイトスピーチ検出、フェイクニュース同定、政治的感情分析などの下流NLPタスクを支援すること。

提案手法

• マーラチ語の著名人物の公開Twitterアカウントから約16,000件の異なるマーラチ語ツイートを収集した。
• 肯定的、否定的、ニュートラルの3つの感情クラスに分類する包括的なアノテーションポリシーを採用し、各ツイートを手動でラベル付けした。
• 再現可能な実験を可能にするために、バランスの取れた訓練用、検証用、テスト用データセットに分割した。
• CNN、BiLSTM、ULMFiT、およびトランスフォーマー基盤のモデル（mBERT、IndicBERT）といった複数のディープラーニングアーキテクチャを訓練および評価した。
• ランダム初期化、FacebookのfastText、およびIndicNLPのfastText埋め込みを用い、可訓練モードとスタティックモードの両方を検証した。
• CLSトークンを用いてシーケンス分類のための微調整を実施し、mBERTおよびIndicBERTを転移学習を活用して性能向上を図った。

実験結果

リサーチクエスチョン

• RQ1 最新のディープラーニングモデルは、新たに収集されたマーラチ語の感情分析データセットでどの程度の性能を示すか？
• RQ2 マーラチ語のような低リソース言語において、事前学習済み語の埋め込みとランダム初期化の重み初期化のどちらが一般化性能や過学習の観点で優れているか？
• RQ3 2クラスおよび3クラス分類の両設定において、CNN、BiLSTM、ULMFiT、BERTのうち、どのアーキテクチャがマーラチ語ツイター投稿の感情分類で最も優れた性能を示すか？
• RQ4 多言語BERTモデル（mBERTおよびIndicBERT）は、単言語または多言語ベースラインと比較して、マーラチ語の感情分類においてどの程度効果的か？
• RQ5 ドメイン特化型・言語特化型の埋め込み（例：Indic fastText）を用いることで、マーラチ語テキストのモデル性能はどの程度向上するか？

主な発見

• IndicBERTが3クラス分類で84.13％の最高正確度を達成し、mBERTやCNNベースのアーキテクチャを上回った。
• 可訓練なIndic fastText埋め込みを用いたCNNが2クラス分類で93.13％の最高正確度を記録し、この設定ではIndicBERTをわずかに上回った。
• IndicNLPの事前学習済み語の埋め込みが、マーラチ語テキストにおいて可訓練モードおよびスタティックモードの両方でFacebookのfastText埋め込みを上回った。
• 事前学習済み埋め込みを用いたモデルは、ランダム初期化の重みを用いたモデルと比較して顕著に過学習が抑制された。
• ULMFiTは80.80％の3クラス分類正確度を達成し、限られたデータでも転移学習の有効性を示した。
• 混同行列の結果、予測が肯定的および否定的クラスでは最も一貫性があり、特に3クラス分類においてニュートラルクラスの誤分類率が高かった。