[논문 리뷰] Emotion Detection with Transformers: A Comparative Study

Mahdi Rezapour|arXiv (Cornell University)|2024. 03. 18.

Emotion and Mood Recognition인용 수 6

한 줄 요약

이 논문은 텍스트에서의 감정 분류를 위해 여러 사전 학습된 트랜스포머 모델을 비교하고 미세 조정, 계층 학습 가능성, 전처리가 성능에 미치는 영향을 분석합니다. 구두점과 불용어를 제거하면 결과가 악화될 수 있음.

ABSTRACT

In this study, we explore the application of transformer-based models for emotion classification on text data. We train and evaluate several pre-trained transformer models, on the Emotion dataset using different variants of transformers. The paper also analyzes some factors that in-fluence the performance of the model, such as the fine-tuning of the transformer layer, the trainability of the layer, and the preprocessing of the text data. Our analysis reveals that commonly applied techniques like removing punctuation and stop words can hinder model performance. This might be because transformers strength lies in understanding contextual relationships within text. Elements like punctuation and stop words can still convey sentiment or emphasis and removing them might disrupt this context.

연구 동기 및 목표

• 표준 텍스트 감정 데이터세트에서 여러 사전 학습된 트랜스포머 모델을 감정 분류에 대해 평가합니다.
• 미세 조정 전략과 어떤 트랜스포머 계층이 학습 가능한지 모델 성능에 어떤 영향을 주는지 분석합니다.
• 전처리 단계가 트랜스포머를 이용한 감정 탐지에 미치는 영향을 조사합니다.

제안 방법

• 감정 분류를 위해 Emotion 데이터세트에서 여러 사전 학습된 트랜스포머 모델을 학습시키고 평가합니다.
• 다양한 트랜스포머 변형과 미세 조정 구성으로 실험합니다.
• 미세 조정 중 어떤 계층이 학습 가능한지의 영향을 평가합니다.
• 구두점 처리 및 불용어 처리와 같은 전처리 선택이 성능에 미치는 영향을 분석합니다.

실험 결과

연구 질문

• RQ1 Emotion 데이터셋에서 감정 분류에 가장 우수한 성능을 제공하는 사전 학습된 트랜스포머 모델은 무엇입니까?
• RQ2 미세 조정 및 계층 학습 가능성 선택이 감정 탐지 정확도에 어떤 영향을 미칩니까?
• RQ3 구두점 제거나 불용어 제거와 같은 일반적인 전처리 단계가 트랜스포머 기반 감정 분류에 미치는 영향은 무엇입니까?

주요 결과

• 트랜스포머는 맥락 관계를 포착하는 능력이 있어 공격적인 전처리(구두점 제거나 불용어 제거)가 성능을 저하시킬 수 있습니다.
• 미세 조정 결정과 어떤 계층이 업데이트되는지가 결과에 상당한 영향을 미칩니다.
• 전처리 선택은 모델 성능을 조정할 수 있으며 NLP 파이프라인에서 일반적인 전처리 습관에 도전합니다.