[論文レビュー] Revisiting Sentiment Analysis for Software Engineering in the Era of Large Language Models

Ting Zhang, Ivana Clairine Irsan+2 more|arXiv (Cornell University)|Oct 17, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本論文は、ソフトウェア工学におけるセンチメント分析（SA4SE）の文脈で、大規模言語モデル（bLLMs）を用いたFew-shotおよびZero-shotプロンプトの有効性を調査している。その結果、bLLMsはリソースが限られた、かつ不均衡なデータセットにおいて、微調整済みの小規模言語モデル（sLLMs）を上回ることを示している。一方、十分でバランスの取れた訓練データが利用可能な場合には、sLLMsが依然として優れた性能を発揮する。本研究では、5つのベンチマークデータセットを対象に、3つのオープンソースbLLMsを評価し、bLLMsが低データSA4SEのシナリオにおいて実用的な代替手段であることが立証された。

ABSTRACT

Software development involves collaborative interactions where stakeholders express opinions across various platforms. Recognizing the sentiments conveyed in these interactions is crucial for the effective development and ongoing maintenance of software systems. For software products, analyzing the sentiment of user feedback, e.g., reviews, comments, and forum posts can provide valuable insights into user satisfaction and areas for improvement. This can guide the development of future updates and features. However, accurately identifying sentiments in software engineering datasets remains challenging. This study investigates bigger large language models (bLLMs) in addressing the labeled data shortage that hampers fine-tuned smaller large language models (sLLMs) in software engineering tasks. We conduct a comprehensive empirical study using five established datasets to assess three open-source bLLMs in zero-shot and few-shot scenarios. Additionally, we compare them with fine-tuned sLLMs, using sLLMs to learn contextual embeddings of text from software platforms. Our experimental findings demonstrate that bLLMs exhibit state-of-the-art performance on datasets marked by limited training data and imbalanced distributions. bLLMs can also achieve excellent performance under a zero-shot setting. However, when ample training data is available or the dataset exhibits a more balanced distribution, fine-tuned sLLMs can still achieve superior results.

研究の動機と目的

• リソースが限られた、かつ不均衡なデータ条件下で、大規模言語モデル（bLLMs）がソフトウェア工学におけるセンチメント分析（SA4SE）に果たす有効性を評価すること。
• SA4SEタスクにおいて、bLLMsを用いたFew-shotおよびZero-shotプロンプトの性能を、微調整済みの小規模言語モデル（sLLMs）と比較すること。
• 特にクロスプラットフォーム設定において、bLLMsの一般化能力を調査すること。
• bLLMsがSA4SEにおいてsLLMsを上回る条件、特にデータの可用性とクラス分布の観点から特定すること。
• bLLMsを用いたコンテキスト内学習が、SA4SEにおいてsLLMsの微調整の代替手段として実証的根拠を提供すること。

提案手法

• 本研究では、5つのベンチマークSEデータセット上で、ゼロショットおよびFew-shotプロンプト設定の3つのオープンソースbLLMsを用いてセンチメント分類を実施する。
• ゼロショットの場合、モデルはラベル付き例を含まず、センチメント分類タスクを自然言語で記述した指示文をプロンプトとして提示する。
• Few-shotの場合、分類を支援するためのラベル付き例（Few-shotデモンストレーション）をプロンプトに含める。
• bLLMsの性能は、同じ訓練データを用いて標準的な微調整手順で微調整されたsLLMsと比較される。
• データの不足やクラスの不均衡に応じた複数のデータセットで、マクロ-F1やミクロ-F1といった標準指標を用いて評価が行われる。
• プロンプト設計、Few-shot例選定、データセット特性がモデル性能に与える影響を分析するためのアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 リソースが限られた状況において、大規模言語モデル（bLLMs）が微調整を経ずに、センチメント分析（SA4SE）で最先端の性能を達成できるか？
• RQ2 訓練データが限られたり、クラスが不均衡な状況下で、bLLMsの性能は微調整済みの小規模言語モデル（sLLMs）と比べてどうなるか？
• RQ3 bLLMsを用いたコンテキスト内学習（プロンプトによる学習）は、異なるSEデータセットやプラットフォーム間で効果的に一般化できるか？
• RQ4 どのようなデータ条件（例：データ不足、クラスの不均衡）の下で、bLLMsがSA4SEタスクにおいてsLLMsを上回るか？
• RQ5 ラベル付きデータが限られる状況において、bLLMsを用いたゼロショットプロンプトが、sLLMsの微調整の代替手段として実用的か？

主な発見

• リソースが限られ、クラスの分布が不均衡なデータセットにおいて、bLLMsは微調整済みsLLMsを上回る最先端の性能を達成している。
• ゼロショット状況において、bLLMsは優れた一般化能力を示し、ラベル付き例が一切不要な状態で高い性能を発揮しており、コンテキスト内学習の有効性が裏付けられている。
• 十分でバランスの取れた訓練データが利用可能な場合、微調整済みsLLMsはプロンプト付きbLLMsよりも優れた性能を発揮する。
• bLLMsの性能はプロンプト設計やFew-shot例選定に敏感であり、最適な例を用いることで性能が顕著に向上する。
• bLLMsはsLLMsよりも優れたクロスプラットフォーム一般化能力を示しており、多様なSEテキストソースに対しても頑健であることが示唆される。
• 本研究では、bLLMsを用いたコンテキスト内学習が、特に低データ環境下において、sLLMsの微調整の代替手段として実用的で、データ効率の良い選択肢であると確認された。