[논문 리뷰] Bias in Emotion Recognition with ChatGPT

Naoki Wake, Atsushi Kanehira외 3명|arXiv (Cornell University)|2023. 10. 18.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 여러 데이터셋과 정서 레이블을 통해 ChatGPT의 정서 인식 능력을 평가하며, 레이블 선택과 데이터셋 차이와 연관된 상당한 성능 변동성을 드러낸다. 피인프루닝은 정확도를 향상시키지만, 모델의 일관성 부족과 레이블 서술 방식에 대한 민감성은 내재된 편향을 시사하며, 정서 분석을 위한 대규모 언어 모델(LM)을 구현할 때 데이터셋과 레이블 선택에 신중한 고려가 필수적임을 강조한다.

ABSTRACT

This technical report explores the ability of ChatGPT in recognizing emotions from text, which can be the basis of various applications like interactive chatbots, data annotation, and mental health analysis. While prior research has shown ChatGPT's basic ability in sentiment analysis, its performance in more nuanced emotion recognition is not yet explored. Here, we conducted experiments to evaluate its performance of emotion recognition across different datasets and emotion labels. Our findings indicate a reasonable level of reproducibility in its performance, with noticeable improvement through fine-tuning. However, the performance varies with different emotion labels and datasets, highlighting an inherent instability and possible bias. The choice of dataset and emotion labels significantly impacts ChatGPT's emotion recognition performance. This paper sheds light on the importance of dataset and label selection, and the potential of fine-tuning in enhancing ChatGPT's emotion recognition capabilities, providing a groundwork for better integration of emotion analysis in applications using ChatGPT.

연구 동기 및 목표

• 다양한 데이터셋과 정서 레이블을 통해 ChatGPT의 미묘한 정서 인식 성능을 평가하는 것.
• 데이터셋 선택과 정서 레이블 구성 방식이 모델 신뢰성에 미치는 영향을 조사하는 것.
• 프롬프트 엔지니어링과 피인프루닝이 정서 인식 정확도 향상에 얼마나 효과적인지 평가하는 것.
• 특히 드문 정서 레이블에 대해 LLM 기반 정서 인식에서 나타나는 편향과 일관성 없는 결과를 규명하는 것.
• 정확한 정서 탐지가 요구되는 애플리케이션에서 ChatGPT를 책임감 있게 구현하기 위한 지침을 제공하는 것.

제안 방법

• IEMOCAP, MELD, EmoryNLP, DailyDialog 및 자체 제작 시리즈를 포함한 다섯 개의 데이터셋에서 사전 정의된 정서 레이블을 사용한 제로샷 프롬프팅을 통해 ChatGPT를 평가하였다.
• 피인프루닝을 통해 gpt-3.5-turbo 모델을 사용하여 레이블된 데이터를 활용해 성능을 향상시켰다.
• 대화 기록을 맥락으로 활용하여 현재 발언의 정서를 예측함으로써 실시간 정서 인식을 시뮬레이션하였다.
• 다양한 정서 레이블 세트 간의 모델 출력을 비교하였으며, 예를 들어 '행복함' 대비 '행복한' 또는 '강력함' 대비 '평온함'과 같은 변형을 포함하였다.
• 동일한 입력에 대해 다른 레이블 이름이나 맥락을 사용했을 때의 모델 출력을 비교하여 일관성 여부를 분석하였다.
• ChatGPT가 정서 레이블을 어떻게 정의하는지에 대한 정성적 분석을 통해 내부적으로 정서 개념을 어떻게 인식하는지 이해하고자 하였다.

실험 결과

연구 질문

• RQ1 ChatGPT의 정서 인식 성능는 다양한 데이터셋과 정서 레이블 세트 간에 어떻게 변동되는가?
• RQ2 피인프루닝은 ChatGPT의 정서 인식 정확도와 일관성에 어느 정도 향상시키는가?
• RQ3 ChatGPT의 출력은 '행복함' 대비 '행복한'과 같은 정서 레이블 이름의 미세한 변화에 얼마나 민감한가?
• RQ4 왜 '강력함'과 '평온함'과 같은 특정 정서 레이블은 여러 데이터셋에서 일관되게 낮은 성능을 보이는가?
• RQ5 학습 데이터의 편향과 레이블링 기준은 ChatGPT의 정서 인식 행동을 어떻게 형성하는가?

주요 결과

• ChatGPT는 제로샷 성능에서 정서 인식에 대해 합리적인 성능를 보였으며, 이는 사전 감성 분석 연구 결과와 일치한다.
• 레이블 간 성능 변동이 뚜렷하게 나타났으며, 특히 '강력함'과 '평온함'에 대해 정확도가 낮게 나타나 레이블 특화된 편향이 있음을 시사한다.
• 피인프루닝은 모든 데이터셋에서 모델 성능을 일관되게 향상시켰지만, 레이블 간 일관성 문제를 완전히 제거하지는 못했다.
• 모델는 '행복함' 대비 '행복한'과 같은 레이블 이름의 변화에 매우 민감하게 반응하여, 레이블 구성 방식이 출력에 중대한 영향을 미친다는 점을 보여주었다.
• LLM의 블랙박스 성격에도 불구하고, ChatGPT는 에크먼과 플루치크의 정서 모델과 유사한 정의를 생성하여 내부적으로 체계적인 정서 개념 표현을 갖추고 있음을 시사한다.
• 레이블 선택과 데이터셋 선택은 모델 신뢰성에 결정적인 영향을 미치며, 데이터셋 간 레이블링 기준의 일관성 부족이 성능 변동의 원인이 되었다.