[論文レビュー] Comparison of Classical Machine Learning Approaches on Bangla Textual Emotion Analysis

Md. Ataur Rahman, Md. Hanif Seddiqui|arXiv (Cornell University)|Jul 18, 2019

Sentiment Analysis and Opinion Mining参考文献 5被引用数 14

ひとこと要約

本稿では、手動でアノテートされた6,314件のFacebookコメントから成るコーパスを用いて、古典的機械学習モデルを用いた詳細なバングラテキスト感情分析システムを提案する。最も優れた性能を示したモデルは、unigramおよびTF-IDF特徴量を用いた非線形SVM（RBFカーネル）であり、52.98％の正確性と0.3324のマクロF1スコアを達成し、ベースラインモデルを顕著に上回った。

ABSTRACT

Detecting emotions from text is an extension of simple sentiment polarity detection. Instead of considering only positive or negative sentiments, emotions are conveyed using more tangible manner; thus, they can be expressed as many shades of gray. This paper manifests the results of our experimentation for fine-grained emotion analysis on Bangla text. We gathered and annotated a text corpus consisting of user comments from several Facebook groups regarding socio-economic and political issues, and we made efforts to extract the basic emotions (sadness, happiness, disgust, surprise, fear, anger) conveyed through these comments. Finally, we compared the results of the five most popular classical machine learning techniques namely Naive Bayes, Decision Tree, k-Nearest Neighbor (k-NN), Support Vector Machine (SVM) and K-Means Clustering with several combinations of features. Our best model (SVM with a non-linear radial-basis function (RBF) kernel) achieved an overall average accuracy score of 52.98% and an F1 score (macro) of 0.3324

研究の動機と目的

• 詳細な感情分類のための高品質でバランスの取れたバングラ感情コーパスの開発およびアノテーション。
• 6つの基本的感情（悲しみ、喜び、嫌悪、驚き、恐怖、怒り）を検出するバングラテキストにおける古典的機械学習モデルの評価。
• ナイーブベイズ、決定木、k-NN、SVM、K-メディアンクラスタリングの5つの古典的分類器が、複数の特徴量組み合わせに対して示す性能の比較。
• 低リソースのバングラテキストにおける感情分類の最適な特徴セットおよびハイパーパramータ設定の同定。
• 古典的機械学習手法を用いたバングラ感情分析分野における今後の研究のベンチマークの確立。

提案手法

• 社会的・政治的問題を議論するFacebookグループから、6,314件のバングラSNSコメントを収集し、手動でアノテートした。
• 品詞タギング（Bengali Dandapat et al. 2009）、ストップワード除去、および変形の処理を含む前処理により、語形変化に対処した。
• scikit-learnの特徴抽出パイプラインを用いて、unigram、n-gram（1〜3）、TF-IDF、品詞タグの複数の特徴量セットを抽出した。
• ナイーブベイズ、決定木、k-NN、SVM（線形および非線形RBF）、K-メディアンクラスタリングの5つの古典的分類器を訓練および評価した。
• RBFカーネルを用いたSVMの最適化のため、C（1.0〜3.0）およびガンマ（0.1〜1.0）のグリッドサーチを実施し、最適なパラメータを特定した。
• 正確性、マクロおよびミクロF1スコア、混同行列を用いてモデルを評価し、クラスごとの性能および誤分類のパターンを分析した。

実験結果

リサーチクエスチョン

• RQ1 6つの感情カテゴリーにわたる詳細なバングラ感情分類において、どの古典的機械学習モデルが最も優れた性能を示すか？
• RQ2 unigram、TF-IDF、n-gram、品詞タグなどの異なる特徴量の組み合わせが、バングラテキストにおける感情分類器の性能にどのように影響を与えるか？
• RQ3 この文脈におけるRBFカーネルを用いたSVMモデルの最適なハイパーパramータ設定は何か？
• RQ4 教師ありモデルと比較して、非教師ありのK-メディアンクラスタリングの性能はどの程度か？
• RQ5 品詞タグの含め方およびストップワードフィルタリングの導入が、分類性能にどの程度向上効果をもたらすか？

主な発見

• 非線形RBFカーネルを用いたSVMが、52.98％の最高正確性と0.3324のマクロF1スコアを達成し、他のすべてのモデルを上回った。
• SVMモデルにおいて最良の特徴量の組み合わせは、unigramにTF-IDF重み付けを組み合わせたものであり、すべての指標で最高の性能を示した。
• 最良のモデルのミクロF1スコアは0.476であり、すべての感情クラスにわたる分類の一貫性が中程度であることを示した。
• K-メディアンクラスタリングは性能が低く、最大Vスコアが0.049、調整ランダ指数が0.059にとどまり、クラスタリング品質が著しく低いことが示された。
• 決定木モデルはunigramおよびTF-IDF特徴量を用いて、44.2％の2番目の高い正確性を達成したが、SVMに比べて有意に低いF1スコアを示した。
• モデルは「喜び」（F1: 0.742）および「怒り」（F1: 0.565）のクラスでは強い性能を示したが、「嫌悪」と「恐怖」（F1 < 0.05）では困難を示し、クラス不均衡または曖昧さの問題が原因であると示唆された。