[논문 리뷰] WASSA@IITK at WASSA 2021: Multi-task Learning and Transformer Finetuning for Emotion Classification and Empathy Prediction

Jay Mundra, Rohan Gupta외 1명|arXiv (Cornell University)|2021. 04. 20.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 8

한 줄 요약

이 논문은 WASSA 2021 공동 과제에서 감정 분류 및 공감 예측을 위한 ELECTRA와 RoBERTa를 사용한 다중 작업 학습 및 미세조정 접근법을 제시한다. 전이 학습, GoEmotions를 활용한 데이터 증강, 앙상블 방법을 통해 감정 분류에서 매크로 F1 스코어 0.5528(1위), 공감 예측에서 피어슨 상관계수 0.533(3위)를 달성하였다.

ABSTRACT

This paper describes our contribution to the WASSA 2021 shared task on Empathy Prediction and Emotion Classification. The broad goal of this task was to model an empathy score, a distress score and the overall level of emotion of an essay written in response to a newspaper article associated with harm to someone. We have used the ELECTRA model abundantly and also advanced deep learning approaches like multi-task learning. Additionally, we also leveraged standard machine learning techniques like ensembling. Our system achieves a Pearson Correlation Coefficient of 0.533 on sub-task I and a macro F1 score of 0.5528 on sub-task II. We ranked 1st in Emotion Classification sub-task and 3rd in Empathy Prediction sub-task

연구 동기 및 목표

• 해로운 뉴스 기사에 대한 반응 에세이에서 공감과 감정을 모델링하는 데 도전하는 것.
• 사전 훈련된 트랜스포머 모델을 활용해 자원이 적은 감정 분류 및 공감 예측 작업의 성능을 향상시키는 것.
• 다중 작업 학습 및 데이터 증강이 모델 일반화 능력 향상과 편향 감소에 얼마나 효과적인지 조사하는 것.
• 딥 러닝을 활용해 에세이 수준에서 공감 점수와 고통 점수를 예측할 수 있는 견고한 시스템을 개발하는 것.
• 모델 초기화 민감도와 앙상블 전략이 성능 안정성과 정확도에 미치는 영향을 평가하는 것.

제안 방법

• 감정 분류(감정) 작업과 회귀(공감/고통) 작업 모두에 대해 단일 히든 레이어를 갖는 엔드 투 엔드로 ELECTRA-large와 RoBERTa-large 모델을 미세조정하였다.
• ELECTRA 인코더를 공유하고 공감 및 고통 예측를 위한 별도의 히든 레이어를 사용함으로써 다중 작업 학습을 구현하였으며, 평균 제곱오차(MSE) 손실을 함께 최적화하였다.
• 감정 분류 작업에서 클래스 분포를 균형 잡기 위해 GoEmotions 데이터셋을 활용한 데이터 증강을 적용하였으며, 특히 부족한 클래스의 성능 향상에 기여하였다.
• 여러 개의 훈련된 모델 예측을 단순 평균하여 앙상블을 구현함으로써 일반화 능력 향상과 분산 감소를 도모하였다.
• AdamW 옵timizer를 사용하였으며, 학습률 1e-5, 가중치 감쇠, 배치 크기 8 또는 16로 Google Colab의 단일 Tesla V100 GPU에서 훈련하였다.
• 다양한 무작위 시드를 사용해 모델을 여러 번 훈련함으로써 초기화 민감도로 인한 성능 변동을 완화하였다.

실험 결과

연구 질문

• RQ1 공유된 트랜스포머 인코더를 사용한 다중 작업 학습이 공감 예측 및 감정 분류 작업의 성능 향상에 기여하는가?
• RQ2 GoEmotions 데이터셋을 활용한 데이터 증강이 자원이 적은 감정 분류 작업에서 모델 일반화 능력 향상과 편향 감소에 얼마나 효과적인가?
• RQ3 모델 앙상블이 미세조정된 트랜스포머 모델의 분산 감소와 성능 안정성 향상에 어느 정도 기여하는가?
• RQ4 미세조정된 ELECTRA 및 RoBERTa 모델은 가중치 초기화에 얼마나 민감한가? 이는 앙상블 전략을 통해 완화될 수 있는가?
• RQ5 ELECTRA 및 RoBERTa와 같은 사전 훈련된 모델을 사용할 경우 자원이 적은 정서 컴퓨팅 작업, 예를 들어 공감 및 감정 예측에 어떤 영향을 미치는가?

주요 결과

• ELECTRA와 RoBERTa 모델의 앙상블은 감정 분류 테스트 세트에서 매크로 F1 스코어 0.5528을 달성하여 공동 과제에서 1위를 기록하였다.
• 최종 시스템은 공감 예측 하위 과제에서 피어슨 상관계수 0.533을 기록하여 모든 제출물 중 3위를 차지하였다.
• GoEmotions를 활용한 데이터 증강은 모델 성능을 크게 향상시켰으며, 특히 분노 감정의 과도한 예측 감소와 부족한 클래스의 성능 향상에 기여하였다.
• 모델 성능은 초기화에 매우 민감했으며, 다양한 무작위 시드에서 검증 점수의 변동이 뚜렷하게 나타났다. 이는 앙상블 방법의 필요성을 강조하였다.
• 혼동 행렬을 통해 공포 감정에 대해 강력한 성능을 보였고, 데이터 증강 이후 클래스 간 균형이 향상되었으며, 특히 기쁨을 분노로 잘못 분류하는 것을 줄이는 데 기여하였다.
• 각 작업(공감 및 고통)에 대해 두 모델을 앙상블함으로써 개별 모델보다 더 나은 일반화 능력과 향상된 상관계수 및 F1 스코어를 달성하였다.