[論文レビュー] An LSTM model for Twitter Sentiment Analysis

Md Parvez Mollah|arXiv (Cornell University)|Dec 4, 2022

Sentiment Analysis and Opinion Mining被引用数 5

ひとこと要約

本稿では、7つの公開済みで手作業でラベル付けされたTwitterセンチメントデータセットを統合して構築した新規データセットを用いて、ファインチューニングされたLSTMモデルを提案する。モデルは全体で68%の正解率を達成し、特にポジティブおよびネガティブなセンチメントを識別する点で、ルールベースのVADERツール（51%）を顕著に上回るが、ニュートラルなツイートの分類性能は依然として低い。

ABSTRACT

Sentiment analysis on social media such as Twitter provides organizations and individuals an effective way to monitor public emotions towards them and their competitors. As a result, sentiment analysis has become an important and challenging task. In this work, we have collected seven publicly available and manually annotated twitter sentiment datasets. We create a new training and testing dataset from the collected datasets. We develop an LSTM model to classify sentiment of a tweet and evaluate the model with the new dataset.

研究の動機と目的

• 既存のモデルにおけるデータセット固有のバイアスや過学習の影響による、Twitterのセンチメント分析における一貫性の欠如という課題に対処すること。
• 7つの公開済みで手作業でラベル付けされたTwitterセンチメントデータセットを統合して、バランスの取れた訓練およびテスト用データセットを構築すること。
• 新規に構築したデータセットを用いて、より良い一般化性能を達成するためのLSTMベースのディープラーニングモデルを開発・評価すること。
• 提案されたLSTMモデルの性能を、正解率および実行時間の観点から広く用いられているVADERの語彙ベースのツールと比較すること。

提案手法

• 著者らは7つの手作業でラベル付けされたTwitterセンチメントデータセットを収集し、関係のないツイートや混合ラベルのツイートを除外した後、単一のバランスの取れたデータセットに統合した。
• テキストの前処理として、ハッシュタグ、ハンドル、URL、絵文字、標点の正規化を、標準化された置換パターンを用いて実施し、特徴のスパarsityを低減した。
• トークン化された単語を固定長の密集ベクトルに変換するため、事前学習済みのGloVeベクトルを用いて単語埋め込みを学習した。
• 100ニューロンの単一の隠れ層、ReLU活性化関数、シグモイド出力層を備えたLSTMアーキテクチャを採用し、ポジティブ、ネガティブ、ニュートラルの3クラス分類を実装した。
• モデルはカテゴリカル交差エントロピー損失関数、Adam最適化手法、50エポック、バッチサイズ256を用いて訓練され、正解率を評価指標とした。
• 性能評価は20%のテストデータ分割を用い、正解率およびクラスごとの正解率の観点からVADERセンチメント分析ツールと比較した。

実験結果

リサーチクエスチョン

• RQ1 複数の手作業でラベル付けされたTwitterセンチメントデータセットを統合した統一されたデータセットは、センチメント分類におけるモデルの一般化性能を向上させ得るか？
• RQ2 LSTMベースのディープラーニングモデルは、VADERのようなルールベースの語彙アプローチと比較して、どのようにTwitterのセンチメントを分類するか？
• RQ3 LSTMモデルとVADERとの間で、ポジティブ、ネガティブ、ニュートラルの各センチメントクラスにおいて、性能にどのような差異が生じるか？
• RQ4 事前学習済みのGloVe埋め込みを用いることで、絵文字や標点に基づくセンチメントの兆候をモデルが十分に捉える能力が制限される程度はどの程度か？

主な発見

• 提案されたLSTMモデルは、テストセットで全体で68%の正解率を達成し、VADERの51%を顕著に上回った。
• モデルはポジティブツイートの分類で77%の正解率を示したが、ネガティブ（68%）およびニュートラル（61%）のツイートではやや低かった。
• VADERはネガティブツイートで44%、ニュートラルツイートで43%の正解率にとどまり、非ポジティブなセンチメントクラスにおける性能が著しく低いことが示された。
• LSTMモデルは学習に10分、事前学習済みモデルを用いた推論に10秒を要したが、VADERはわずか3秒で実行可能であり、速度と正解率のトレードオフが明らかになった。
• 著者らは、GloVe埋め込みに絵文字固有のベクトル表現が欠落していることが、特に絵文字依存のセンチメントの兆候を捉える能力に制限を及えた可能性を観察した。
• 注目機構（attention mechanism）の統合により、絵文字や標点といった重要なセンチメントの兆候に焦点を当てる能力が向上し、モデルの正解率の向上が期待できると示唆された。