[論文レビュー] Emotion Detection From Social Media Posts

Md Mahbubur Rahman, Shaila Shova|arXiv (Cornell University)|Feb 11, 2023

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本研究では、感情分類のためのハイブリッドディープラーニングモデルを提案し、BiGRU と BiLSTM を組み合わせたもので、ソーシャルメディアのテキストを fear, anger, joy, sadness の4つのカテゴリに分類する。7,102件のサンプルからなる前処理済みのTwitterデータセットを用い、アンサンブルモデルは87.66%の精度を達成し、従来の機械学習モデルを上回り、過学習が最小限に抑えられた良好な一般化性能を示した。

ABSTRACT

Over the last few years, social media has evolved into a medium for expressing personal views, emotions, and even business and political proposals, recommendations, and advertisements. We address the topic of identifying emotions from text data obtained from social media posts like Twitter in this research. We have deployed different traditional machine learning techniques such as Support Vector Machines (SVM), Naive Bayes, Decision Trees, and Random Forest, as well as deep neural network models such as LSTM, CNN, GRU, BiLSTM, BiGRU to classify these tweets into four emotion categories (Fear, Anger, Joy, and Sadness). Furthermore, we have constructed a BiLSTM and BiGRU ensemble model. The evaluation result shows that the deep neural network models(BiGRU, to be specific) produce the most promising results compared to traditional machine learning models, with an 87.53 % accuracy rate. The ensemble model performs even better (87.66 %), albeit the difference is not significant. This result will aid in the development of a decision-making tool that visualizes emotional fluctuations.

研究の動機と目的

• ソーシャルメディアのテキストにおける4つの主要な感情（fear, anger, joy, sadness）を正確に分類するための機械学習モデルを開発すること。
• 従来の機械学習モデル（SVM, Naive Bayes, Decision Tree, Random Forest）とディープニューラルネットワーク（LSTM, CNN, GRU, BiLSTM, BiGRU）の感情分類性能を比較すること。
• BiGRU と BiLSTM を組み合わせたアンサンブルモデルを設計・評価し、感情検出の精度を向上させること。
• 時間的経過に伴う感情傾向の可視化を通じて、メンタルヘルスのモニタリングおよびパーソナライズドコンテンツ推薦を支援すること。
• モデル評価およびハイパーパrameterチューニングを通じて、クラス不均衡の影響を同定し、緩和すること。

提案手法

• Kaggleから入手した7,102件の英語投稿からなるラベル付きTwitterデータセットを収集し、4つの感情クラス（anger, fear, joy, sadness）に分類した。
• 小文字変換、URL・HTMLタグ・標 punctuation・ストップワードの削除、縮約語や省略語の展開などのテキスト前処理を実施した。
• 語形の変種を減らし、語形を正規化するためのレムマタイゼーションとステミングを適用したが、感情的文脈を保持するための絵文字は維持した。
• 複数のモデルを訓練・評価した：従来の機械学習（SVM, Naive Bayes, Decision Tree, Random Forest, Logistic Regression）とディープラーニング（LSTM, CNN, GRU, BiLSTM, BiGRU）。
• BiGRU と BiLSTM の予測結果を重み付き平均または投票による統合により、アンサンブルモデルを構築し、一般化性能の向上を図った。
• 交差検証を用いて各モデルのハイパーパrameterを最適化し、検証精度に基づいて最も優れた設定を選定した。

実験結果

リサーチクエスチョン

• RQ1 短いソーシャルメディアのテキストからの感情分類において、従来の機械学習モデルとディープニューラルネットワークの性能はどのように比較されるか？
• RQ2 モデルアーキテクチャ（例：BiGRU と BiLSTM）が、小規模で不均衡なデータセットにおける感情分類性能に与える影響は何か？
• RQ3 ディープラーニングモデルのアンサンブルは、個々のモデルと比較して一般化性能を向上させ、過学習を軽減できるか？
• RQ4 クラスの分布の不均衡は、感情カテゴリごとの精度、再現率、F1スコアにどのような影響を及えるか？
• RQ5 絵文字の含め方や前処理技術の有無が、感情検出におけるモデル性能にどの程度影響を与えるか？

主な発見

• BiGRU モデルは個別で最も高い精度87.53%を達成し、すべての従来の機械学習モデルを上回った。
• BiGRU と BiLSTM を組み合わせたアンサンブルモデルは、全体で87.66%の最高精度を記録し、個々のディープラーニングモデルよりもわずかではあるが一貫した改善を示した。
• Naive Bayes は特徴の独立性を仮定しているが、これは順序付きテキストデータでは成り立たないため、性能が著しく低かった（精度約42%）。
• 最近傍法分類器は次元の呪いの影響を受けて性能が低く、高次元の特徴ベクトルが距離に基づく識別を困難にした。
• sadness クラスはF1スコアが最も低く（0.82）なっており、誤分類が多発していた—誤って分類された例として、怒り（51件）と恐怖（37件）のサンプルが多かった—これはクラスの混同を示している。
• マイクロ平均およびマクロ平均のAUC値は約0.97であり、クラス固有の制限はあったものの、全体としてのモデル性能が優れていることを示している。