[논문 리뷰] Revisiting Sentiment Analysis for Software Engineering in the Era of Large Language Models

Ting Zhang, Ivana Clairine Irsan외 2명|arXiv (Cornell University)|2023. 10. 17.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 소프트웨어 공학 분야의 감성 분석(SA4SE)에서 대규모 언어 모델(bLLMs)을 사용한 소수 샘플(few-shot) 및 제로 샘플(zer0-shot) 프롬프팅을 조사하며, 자원이 부족하고 불균형한 데이터셋에서는 bLLMs가 미세조정된 소규모 언어 모델(sLLMs)을 능가함을 입증한다. 반면, 충분하고 균형 잡힌 학습 데이터가 제공될 경우 sLLMs가 여전히 우월하다. 연구는 다섯 개의 벤치마크 데이터셋에서 세 가지 오픈소스 bLLMs를 평가하여, 저자원 환경에서 bLLMs가 sLLMs의 대안으로 유의미하게 기능할 수 있음을 확인한다.

ABSTRACT

Software development involves collaborative interactions where stakeholders express opinions across various platforms. Recognizing the sentiments conveyed in these interactions is crucial for the effective development and ongoing maintenance of software systems. For software products, analyzing the sentiment of user feedback, e.g., reviews, comments, and forum posts can provide valuable insights into user satisfaction and areas for improvement. This can guide the development of future updates and features. However, accurately identifying sentiments in software engineering datasets remains challenging. This study investigates bigger large language models (bLLMs) in addressing the labeled data shortage that hampers fine-tuned smaller large language models (sLLMs) in software engineering tasks. We conduct a comprehensive empirical study using five established datasets to assess three open-source bLLMs in zero-shot and few-shot scenarios. Additionally, we compare them with fine-tuned sLLMs, using sLLMs to learn contextual embeddings of text from software platforms. Our experimental findings demonstrate that bLLMs exhibit state-of-the-art performance on datasets marked by limited training data and imbalanced distributions. bLLMs can also achieve excellent performance under a zero-shot setting. However, when ample training data is available or the dataset exhibits a more balanced distribution, fine-tuned sLLMs can still achieve superior results.

연구 동기 및 목표

• 저자원 및 불균형 데이터 조건에서 대규모 언어 모델(bLLMs)이 소프트웨어 공학 분야의 감성 분석(SA4SE)에 얼마나 효과적인지 평가하는 것.
• bLLMs를 사용한 소수 샘플 및 제로 샘플 프롬프팅의 성능을, SA4SE 작업에서 미세조정된 소규모 언어 모델(sLLMs)과 비교하는 것.
• 특히 다양한 플랫폼 간 설정에서 bLLMs의 일반화 능력을 조사하는 것.
• bLLMs가 SA4SE에서 sLLMs를 능가하는 조건(예: 데이터 가용성, 클래스 분포)을 규명하는 것.
• bLLMs를 사용한 컨텍스트 내 학습이 sLLMs의 미세조정 대안으로서 실제로 가능한지를 경험적으로 입증하는 것.

제안 방법

• 연구는 다섯 개의 벤치마크 소프트웨어 공학 데이터셋에서 감성 분류를 위한 세 가지 오픈소스 bLLMs를 제로 샘플 및 소수 샘플 프롬프팅 설정에서 사용한다.
• 제로 샘플 설정에서는 레이블이 없는 예시를 포함하지 않은 자연어 지시어를 사용하여 감성 분류 작업을 설명한다.
• 소수 샘플 설정에서는 모델에게 몇 가지 레이블이 매겨진 예시(소수 샘플 예시)를 프롬프트에 포함시켜 분류를 안내한다.
• bLLMs의 성능은 동일한 학습 데이터를 사용하여 표준적인 미세조정 절차로 학습된 미세조정된 sLLMs와 비교된다.
• 다양한 자원 부족 및 클래스 불균형 수준을 가진 여러 데이터셋에서 매크로-F1 및 마이크로-F1 등의 표준 지표를 사용하여 평가된다.
• 프롬프트 설계, 소수 샘플 예시 선택, 데이터셋 특성 등이 모델 성능에 미치는 영향을 분석하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 저자원 환경에서, 특히 자원이 부족한 상황에서 대규모 언어 모델(bLLMs)이 미세조정 없이도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 학습 데이터가 제한되거나 클래스가 불균형한 경우, bLLMs의 성능은 미세조정된 소규모 언어 모델(sLLMs)과 비교해 어떻게 되는가?
• RQ3 bLLMs를 사용한 컨텍스트 내 학습 프롬프팅 방식이 다양한 SE 데이터셋 및 플랫폼 간에 효과적으로 일반화되는가?
• RQ4 bLLMs가 SA4SE 작업에서 sLLMs를 능가하는 데이터 조건(예: 자원 부족, 클래스 불균형)은 무엇인가?
• RQ5 레이블이 부족한 상황에서 bLLMs를 사용한 제로 샘플 프롬프팅이, 특히 레이블 데이터가 부족한 상황에서 sLLMs의 미세조정 대안으로 유의미한가?

주요 결과

• 제한된 학습 데이터와 불균형한 클래스 분포를 가진 데이터셋에서 bLLMs는 미세조정된 sLLMs를 능가하는 최신 기술 수준의 성능을 달성한다.
• 제로 샘플 설정에서는 bLLMs가 레이블이 없는 예시 없이도 강력한 일반화 능력을 보이며, 높은 성능을 달성함으로써 컨텍스트 내 학습의 효과성을 입증한다.
• 충분하고 균형 잡힌 학습 데이터가 확보된 경우, 미세조정된 sLLMs는 bLLMs의 프롬프팅 방식보다 여전히 뛰어난 성능을 보인다.
• bLLMs의 성능는 프롬프트 설계 및 소수 샘플 예시 선택에 민감하며, 최적의 예시 선택이 성능 향상에 크게 기여한다.
• bLLMs는 sLLMs보다 더 뛰어난 플랫폼 간 일반화 능력을 보이며, 다양한 소프트웨어 공학 텍스트 소스에 대해 더 견고함을 시사한다.
• 이 연구는 bLLMs를 사용한 컨텍스트 내 학습이, 특히 저자원 환경에서 sLLMs의 미세조정 대안으로서 실용적이고 자원 효율적인 방법임을 확인한다.