[論文レビュー] Presence of informal language, such as emoticons, hashtags, and slang, impact the performance of sentiment analysis models on social media text?

Aadil Gani Ganie|arXiv (Cornell University)|Jan 28, 2023

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本研究では、スラング、絵文字、ハッシュタグを含む非公式な言語が、スラング、センチメント、絵文字データセットで訓練された畳み込みニューラルネットワーク（CNN）のセンチメント分析モデルに与える影響を調査した。結果として、非公式な言語による性能低下はほとんどなく、絵文字データを含めた場合、わずかに精度が向上（95.37%）した。これは、非公式な要素がモデル性能に限定的な悪影響しか及えないことを示している。

ABSTRACT

This study aimed to investigate the influence of the presence of informal language, such as emoticons and slang, on the performance of sentiment analysis models applied to social media text. A convolutional neural network (CNN) model was developed and trained on three datasets: a sarcasm dataset, a sentiment dataset, and an emoticon dataset. The model architecture was held constant for all experiments and the model was trained on 80% of the data and tested on 20%. The results revealed that the model achieved an accuracy of 96.47% on the sarcasm dataset, with the lowest accuracy for class 1. On the sentiment dataset, the model achieved an accuracy of 95.28%. The amalgamation of sarcasm and sentiment datasets improved the accuracy of the model to 95.1%, and the addition of emoticon dataset has a slight positive impact on the accuracy of the model to 95.37%. The study suggests that the presence of informal language has a restricted impact on the performance of sentiment analysis models applied to social media text. However, the inclusion of emoticon data to the model can enhance the accuracy slightly.

研究の動機と目的

• スラング、ハッシュタグ、絵文字などの非公式な言語要素が、センチメント分析モデルの性能に与える影響を調査すること。
• 非公式な言語データの取り込みが、ソーシャルメディアのテキスト分類におけるモデルの精度を向上させるか、悪化させるかを評価すること。
• 多様な非公式な言語パターンにさらされたCNNベースのセンチメント分析モデルの頑健性を評価すること。
• 複数の非公式な言語データセットを組み合わせることで、全体的なモデル性能が向上するかどうかを特定すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）モデルを、スラング、センチメント、絵文字データの3つの異なるデータセットで訓練および評価した。
• モデルは各データセットの80%で訓練され、残りの20%でテストされた。これにより、一貫性のある評価が保証された。
• モデルの性能は、異なるクラスおよびデータセットの組み合わせにおける精度を用いて測定された。
• すべての実験においてアーキテクチャは同一に保たれ、データセット構成の影響を明確に分離した。
• データセットを段階的に組み合わせることで、性能に与える累積的影響を評価した。具体的には、スラング、センチメント、絵文字データを順次統合した。
• 個々のデータセットおよび組み合わせたデータセットの両方で性能を評価し、非公式な言語タイプの影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアのテキストにおける絵文字の存在が、センチメント分析モデルの精度にどのように影響するか？
• RQ2 スラングや非公式なハッシュタグは、センチメント分析モデルの性能をどの程度低下させるか？
• RQ3 絵文字を含むデータを組み込むことで、センチメント分析モデルの頑健性は向上するか？
• RQ4 スラングとセンチメントデータセットを組み合わせた場合、非公式な言語が存在する状況でモデルの精度はどのように変化するか？
• RQ5 絵文字、ハッシュタグ、スラングといった異なる非公式な言語形式が、モデル性能に与える相対的な影響は何か？

主な発見

• CNNモデルはスラングデータセットで96.47%の精度を達成し、クラス1で最も低い性能を示した。
• センチメントデータセットでは、モデルは95.28%の精度に達し、標準的なセンチメント分類において優れた性能を示した。
• スラングとセンチメントデータセットを組み合わせた場合、精度はわずかに95.10%に低下した。これは、データ分布上の課題が生じている可能性を示唆している。
• 絵文字データセットを組み合わせたモデルでは、精度が95.37%に向上した。これは、わずかではあるが肯定的な影響があることを示している。
• 本研究の結論として、絵文字、ハッシュタグ、スラングといった非公式な言語要素は、センチメント分析モデルの性能に制限された悪影響しか及えない。
• 絵文字データの取り込みは、測定可能な、やや小さいが肯定的な精度の向上をもたらす。これは、トレーニングデータとしての価値があることを示している。