[논문 리뷰] Exploring Transformers in Emotion Recognition: a comparison of BERT, DistillBERT, RoBERTa, XLNet and ELECTRA

Diogo Cortiz|arXiv (Cornell University)|2021. 04. 05.

Emotion and Mood RecognitionPsychology인용 수 20

한 줄 요약

이 연구는 전용 데이터셋을 사용하여 세분적인 정서 인식을 위한 최신 트랜스포머 모델 다섯 종류—BERT, DistilBERT, RoBERTa, XLNet, ELECTRA—의 성능을 평가한다. F1 점수와 추론 속도를 기반으로 비교하여 RoBERTa와 ELECTRA가 가장 높은 정확도를 기록한 반면, DistilBERT는 뛰어난 속도-정확도 트레이드오프를 보였다.

ABSTRACT

This paper investigates how Natural Language Understanding (NLU) could be applied in Emotion Recognition, a specific task in affective computing. We finetuned different transformers language models (BERT, DistilBERT, RoBERTa, XLNet, and ELECTRA) using a fine-grained emotion dataset and evaluating them in terms of performance (f1-score) and time to complete.

연구 동기 및 목표

• 사전 훈련된 트랜스포머 모델이 세분적인 정서 인식 작업에 얼마나 효과적인지 평가하기 위해.
• 공통된 정서 데이터셋에서 BERT, DistilBERT, RoBERTa, XLNet, ELECTRA의 성능 및 추론 효율성을 비교하기 위해.
• 정서 인식 응용 분야에서 정확도와 계산 효율성 사이의 최적의 균형을 규명하기 위해.
• 모델 아키텍처의 차이가 정서 분류 결과에 어떻게 영향을 미치는지에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 표준 전이 학습 프로토콜을 사용하여 세분적인 정서 데이터셋에 대해 다섯 종류의 트랜스포머 모델—BERT, DistilBERT, RoBERTa, XLNet, ELECTRA—를 미세조정하였다.
• 각 모델에 대해 표준 초모수 및 훈련 절차를 사용하여 평가 조건을 일관되게 유지하였다.
• 정확도 평가를 위해 분류 성능 평가의 주요 지표로 F1 점수를 사용하였다.
• 추론 시간을 측정하고 비교하여 계산 효율성과 실시간 적용 가능성 평가를 수행하였다.
• 모든 모델에 대해 표준 토큰화 및 시퀀스 분류 헤드를 사용하여 아키텍처 간 일관성을 유지하였다.
• 모든 비교에 동일한 데이터셋을 사용하여 공정하고 직접적인 모델 평가를 보장하였다.

실험 결과

연구 질문

• RQ1 세분적인 정서 인식에서 어떤 트랜스포머 모델이 가장 높은 F1 점수를 기록하는가?
• RQ2 감정 분류 작업에서 BERT, DistilBERT, RoBERTa, XLNet, ELECTRA의 추론 속도는 어떻게 비교되는가?
• RQ3 모델 압축(예: DistilBERT)은 전체 크기의 모델 대비 성능에 심각한 하락을 초래하는가?
• RQ4 자기회귀형(XLNet)과 자동에코형(BERT, RoBERTa) 아키텍처는 정서 인식에서 서로 어떻게 비교되는가?
• RQ5 더 많은 파라미터나 더 많은 훈련 데이터를 가진 모델들(RoBERTa, ELECTRA)은 더 작은 또는 덜 사전 훈련된 모델들보다 일관되게 뛰어난 성능을 보이는가?

주요 결과

• RoBERTa가 모든 모델 중에서 가장 높은 F1 점수를 기록하여 세분적인 정서 분류에서 뛰어난 성능을 보였다.
• ELECTRA도 높은 F1 점수를 기록하여 RoBERTa와 거의 유사한 성능을 보였으며, BERT와 XLNet를 뛰어넘었다.
• DistilBERT는 RoBERTa와 ELECTRA에 비해 약간 낮은 F1 점수를 기록했지만, 매우 높은 효율성을 보였다.
• 작은 크기임에도 불구하고 DistilBERT는 모든 다른 모델보다 훨씬 빠른 추론 시간을 보였으며, 실시간 응용에 적합하다.
• BERT와 XLNet는 RoBERTa와 ELECTRA에 비해 낮은 F1 점수를 기록하여 이 특정 작업에 대해 효과성이 떨어지는 것으로 나타났다.
• F1 점수 기준 성능 순위는 다음과 같다: RoBERTa ≈ ELECTRA > DistilBERT > BERT > XLNet.