[論文レビュー] Ensemble Language Models for Multilingual Sentiment Analysis

Md. Arid Hasan|arXiv (Cornell University)|Mar 10, 2024

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

論文はSemEval-17とASTDデータで英語とアラビア語の感情分析に対する4つの事前学習トランスフォーマーモデルを比較し、2つのアンサンブルアーキテクチャを提案。これらはベースラインを改善し、英語の結果の中で多数決が最も良い。

ABSTRACT

The rapid advancement of social media enables us to analyze user opinions. In recent times, sentiment analysis has shown a prominent research gap in understanding human sentiment based on the content shared on social media. Although sentiment analysis for commonly spoken languages has advanced significantly, low-resource languages like Arabic continue to get little research due to resource limitations. In this study, we explore sentiment analysis on tweet texts from SemEval-17 and the Arabic Sentiment Tweet dataset. Moreover, We investigated four pretrained language models and proposed two ensemble language models. Our findings include monolingual models exhibiting superior performance and ensemble models outperforming the baseline while the majority voting ensemble outperforms the English language.

研究の動機と目的

• 英語とアラビア語向けの事前学習トランスフォーマーを活用してツイートの多言語感情分析を進展させる。
• 英語とアラビア語データセットを統合して言語バイアスを緩和し、言語非依存のアンサンブルを評価する。
• 言語を跨ぐ感情分類を改善するためのアンサンブルアーキテクチャを開発・評価する。

提案手法

• 英語およびアラビア語データで、4つの事前学習済み言語モデル (ArabicBERTv2, RoBERTa base, multilingual BERT, XLM-RoBERTa base) をファインチューニングする。
• 2つのアンサンブルモデルを提案: (i) 言語固有のプール出力をフュージョン層とフィードフォワードネットワークで結合する, (ii) フュージョンとフィードフォワード間にマルチヘッド・アテンションを追加する。
• 言語別データと統合データを用いてクロスエントロピーロスとAdamオプティマイザで訓練し、さまざまなシーケンス長とエポック設定を適用。
• シンボルやURLを除去してツイートを前処理し、モデル固有のByte-Pair Encodingトークナイザーでトークン化する。
• クラス不均衡に対処するため、正解率、重み付き適合率、重み付き再現率、マクロF1で評価する。

実験結果

リサーチクエスチョン

• RQ1 英語およびアラビア語の感情分析において、モノリンガルモデルは多言語ベースラインを上回ることができるのか？
• RQ2 アンサンブルモデルは個別の事前学習モデルより効果を発揮するのか、そして多数決は特に有効か？
• RQ3 英語とアラビア語を統合したデータで訓練された言語非依存のアンサンブルは、跨言語の感情分類を改善するのか？

主な発見

言語	訓練データ	モデル	Accuracy	Precision	Recall	F1-マクロ
English	English	m-BERT (Baseline)	67.16	67.48	67.16	67.06
English	English	RoBERTa	70.69	71.34	70.69	70.84
English	English	XLM-RoBERTa	69.07	67.00	69.07	69.13
Arabic	Arabic	m-BERT (Baseline)	54.21	53.76	54.21	53.08
Arabic	Arabic	AraBERTv02	69.79	69.96	69.79	69.78
Arabic	Arabic	XLM-RoBERTa	63.89	63.63	63.89	63.74
English	English	Majority Voting Ensemble	70.95	71.55	70.95	71.03
Arabic	Arabic	Majority Voting Ensemble	66.69	66.37	66.69	66.42
English	English	Ensemble model with Feed Forward	68.91	69.26	68.91	68.59
Arabic	Arabic	Ensemble model with Feed Forward	67.67	69.01	67.67	67.82
English	English and Arabic	Ensemble model with multi-head attention Feed Forward	67.44	69.14	67.44	67.31
Arabic	English and Arabic	Ensemble model with multi-head attention Feed Forward	66.30	67.82	66.30	66.42
English	English and Arabic	Ensemble model with Feed Forward	70.03	70.50	70.03	69.88
Arabic	English and Arabic	Ensemble model with Feed Forward	67.61	68.01	67.61	67.12

• モノリンガル AraBERTv02 は高いアラビア語性能を達成し、他のアラビア語モデルを上回る。
• 多数決アンサンブルは英語の結果を力強く示し（いくつかの設定で最高）、英語のベースラインを上回る。
• 提案されたフィードフォワードと言語対応の融合を含むアンサンブルは、特定の設定でベースラインをやや上回る。
• アンサンブルモデルは言語を問わず、一般的にベースラインの言語モデルを上回る。
• マクロF1は、クラス不均衡とマルチクラス構成を考慮すると適切な指標である。