[論文レビュー] Sentiment Analysis at SEPLN (TASS)-2019: Sentiment Analysis at Tweet level using Deep Learning

Avishek Garain, Sainik Kumar Mahata|arXiv (Cornell University)|Aug 1, 2019

Hate Speech and Cyberbullying Detection参考文献 5被引用数 8

ひとこと要約

本論文は、多言語的で多様なラテンアメリカ諸国由来のスパニッシュツイートの感情分析を対象とし、高度な前処理、手動で設計された感情特徴量、正則化を組み合わせた双方向LSTMベースの深層学習モデルを提示している。このシステムはTASS-2019共同タスクで1位を達成し、誤字、絵文字、擬音語、文脈不足といった課題に直面する短い、非公式な、多言語的ツイートに対しても、クラスの不均衡がある中で高い精度とF1スコアを達成するという、優れた耐性を示した。

ABSTRACT

This paper describes the system submitted to "Sentiment Analysis at SEPLN (TASS)-2019" shared task. The task includes sentiment analysis of Spanish tweets, where the tweets are in different dialects spoken in Spain, Peru, Costa Rica, Uruguay and Mexico. The tweets are short (up to 240 characters) and the language is informal, i.e., it contains misspellings, emojis, onomatopeias etc. Sentiment analysis includes classification of the tweets into 4 classes, viz., Positive, Negative, Neutral and None. For preparing the proposed system, we use Deep Learning networks like LSTMs.

研究の動機と目的

• スペイン、メキシコ、ペルーやコスタリカ、ウルグアイなど、多様な言語的背景を持つ地域のスパニッシュツイートに対して、短く非公式な文脈における感情分析システムを構築すること。
• ツイートレベルの感情分類において、誤字、絵文字、擬音語、文脈の欠如といった課題に対処すること。
• クラス重み付けと正則化技術を用いることで、不均衡なデータセットにおけるモデルの一般化性能を向上させること。
• 単語言語およびクロスリンガルな感情分類の両方のサブタスクで高い性能を達成すること。

提案手法

• 正規表現を用いてキャメルケースのハッシュタグから単語を抽出し、メンション、URL、余分な空白を除去することでツイートを前処理する。
• 前処理済みのツイートをワンホットベクトルに変換し、感情語のカウント（スペイン語および英語）、主観性スコア、標点符号のカウントといった手動で設計された特徴量と組み合わせる。
• SenticNet5とGoogleTrans APIを用いて個々の単語の感情スコアを抽出し、特徴表現を強化する。
• 128次元の埋め込み層、バッチ正則化、128ユニットのドロップアウト率0.4の双方向LSTMを含む深層ニューラルネットワークを採用する。
• GPU最適化を目的として、64ユニットのCuDNNLSTM層を適用し、Glorot均一初期化と重み・バイアスへのL2正則化を施した正則化された全結合層を追加する。
• Adam最適化法（初期学習率0.0005）とカテゴリカル交差エントロピー損失を用いてモデルをコンパイルし、検証損失に基づく早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 注意機構と正則化を備えたBiLSTMアーキテクチャは、短く非公式で多言語的なスパニッシュツイートの感情分類において、どの程度効果的か？
• RQ2 低リソースで言語的多様性の高いツイート感情分類において、ハッシュタグの単語抽出はどの程度性能向上に寄与するか？
• RQ3 クラス重み付けとL2正則化は、不均衡なツイート感情分類データセットにおける過学習を効果的に軽減できるか？
• RQ4 モデルは、単語言語およびクロスリンガルな設定において、さまざまなスパニッシュ方言にどのように一般化するか？

主な発見

• このシステムはTASS-2019共同タスクで最高のパフォーマンスを達成し、両サブタスクで参加者全員の中で1位を獲得した。
• ハッシュタグ前処理を適用した場合の開発セットの正解率は51.98%であったのに対し、適用しない場合の正解率は48.86%であった。このことから、この前処理ステップの価値が明確に示された。
• メキシコのツイート（MX）では最高のF1スコア0.384を記録し、データの不均衡がある中でも優れた性能を示した。
• コスタリカ（CR）ではF1スコア0.250、スペイン（ES）では0.261、ペルー（PE）では0.263、ウルグアイ（UY）では0.218を記録し、言語ごとの性能にばらつきはあったが一貫した性能を示した。
• クラス重み付けとL2正則化の適用により、多数クラスにおける過学習が顕著に軽減され、一般化性能が向上した。
• 手動で抽出した感情特徴量と主観性スコアの導入により、感情クラス間の識別性能が向上した。