[論文レビュー] SentimentGPT: Exploiting GPT for Advanced Sentiment Analysis and its Departure from Current Machine Learning

Kiana Kheiri, Hamid Reza Karimi|arXiv (Cornell University)|Jul 16, 2023

Sentiment Analysis and Opinion Mining被引用数 37

ひとこと要約

本論文は、SemEval-2017 Task 4の感情分析のための三つのGPTベース戦略（プロンプトベース、ファインチューニング、埋め込みベース）を検討し、GPTアプローチが従来のモデルよりF1スコアで22%以上上回ることを示す。

ABSTRACT

This study presents a thorough examination of various Generative Pretrained Transformer (GPT) methodologies in sentiment analysis, specifically in the context of Task 4 on the SemEval 2017 dataset. Three primary strategies are employed: 1) prompt engineering using the advanced GPT-3.5 Turbo, 2) fine-tuning GPT models, and 3) an inventive approach to embedding classification. The research yields detailed comparative insights among these strategies and individual GPT models, revealing their unique strengths and potential limitations. Additionally, the study compares these GPT-based methodologies with other current, high-performing models previously used with the same dataset. The results illustrate the significant superiority of the GPT approaches in terms of predictive performance, more than 22\% in F1-score compared to the state-of-the-art. Further, the paper sheds light on common challenges in sentiment analysis tasks, such as understanding context and detecting sarcasm. It underscores the enhanced capabilities of the GPT models to effectively handle these complexities. Taken together, these findings highlight the promising potential of GPT models in sentiment analysis, setting the stage for future research in this field. The code can be found at https://github.com/DSAatUSU/SentimentGPT

研究の動機と目的

• ソーシャルメディアのテキスト（ツイート）に対する感情分析におけるGPTモデルの有効性を調査する。
• SemEval-2017 Task 4において、プロンプトベース、ファインチューニング、埋め込みベースのGPTアプローチを従来のモデルと比較する。
• 絵文字、皮肉、否定、混合感情など、言語的ニュアンスをGPTモデルが扱う能力を分析する。
• 感情推論プロンプトを通じた言語的説明可能性を評価する。
• 感情分析タスクにおけるGPTベースの戦略の適用に関する実践的な指針を提供する。

提案手法

• 三つのGPTベース戦略を検討する: carefully engineered promptsとイン-context reasoningを用いたプロンプトベースの感情分析; ラベル付きデータでのGPTモデル（Ada、Babbage、Curie）のファインチューニング; GPT text-embedding-ada-002を用いた埋め込みベースの分類を、縮小された埋め込み（PCAを400から150へ）上で従来のMLモデル（XGBoost、Random Forest）に適用する。
• プロンプトベースのアプローチは、感情スケールを0–2としたチャット完了 GPT-3.5 Turbo を使用し、RQ3の説明プロンプトも含む。
• 評価指標には正確さ、再現率、F1スコアを含む。混合感情はモデルがそれを出力する場合に処理される。
• SemEval-2017 Task 4 English datasetを使用し、クラスの不均衡（Positive/Neutral > Negative）に言及する。
• 言語的ニュアンス分析は、7つのカテゴリ（emoji、slang、hashtag、negation & sarcasm、mixed sentiment、cultural context、modern abbreviations）を識別する。
• 埋め込みアプローチは、PCAによる次元削減後にGPT埋め込みを特徴量としてML分類器（XGBoost、RF）に用いる。

Figure 1: An overall illustration of SentimentGPT framework

実験結果

リサーチクエスチョン

• RQ1 RQ1: 既存の機械学習ソリューションと比較して、ソーシャルメディア投稿の感情分析においてGPT関連モデルはどの程度性能を発揮するか？
• RQ2 RQ2: 異なるGPT製品（プロンプトベース、ファインチューニング、埋め込み）は感情分析タスクでどのように性能を示すか？
• RQ3 RQ3: GPTモデルは感情、絵文字、混合感情などの言語的感情ニュアンスに効果的に対応できるか？

主な発見

• GPTアプローチは最先端モデルに対して有意な予測性能の改善を達成し、F1スコアが22%を超えて高くなる。
• carefully engineered promptsを用いたプロンプトベースのGPT-3.5 Turbo は、競争力のある感情予測を生み出し、感情推論の説明をサポートする。
• ファインチューニングされたGPTモデル（Ada、Babbage、Curie）は、プロンプトベースの方法と比較して評価され、コストと能力の間で明確なトレードオフがある。
• GPT埋め込みは、PCA削減特徴量上でXGBoostやRandom Forestのような従来のMLモデルと組み合わせた場合、別の有効な感情分類経路を提供する。
• 本研究は、文脈理解や皮肉などの感情タスクにおける難しさを強調し、これらのニュアンスに対処するGPTモデルの強化された能力を示す。
• SemEval-2017 Task 4のEnglishサブセットを使用し、データセットの不均衡と3点スケール（positive、neutral、negative）に焦点を当てることを認める。

Figure 2: TSNE visualization of GPT embeddings