[논문 리뷰] Team Phoenix at WASSA 2021: Emotion Analysis on News Stories with Pre-Trained Language Models

Yash Butala, Kanishk Singh외 2명|arXiv (Cornell University)|2021. 03. 10.

Topic Modeling참고 문헌 30인용 수 7

한 줄 요약

이 논문은 WASSA 2021 공동 과제에서 뉴스 스토리의 정서 분석을 위한 사전 훈련된 언어 모델을 사용한 다중 작업 학습 접근법을 제시한다. 트랙 1(공감 및 고통 예측)에서는 매개변수 공유와 정규화된 인구통계학적 특징을 활용한 문장 임베딩에 대한 회귀를 사용하여 피어슨 상관계수 0.417을 달 đạt했다. 트랙 2(다차원 정서 예측)에서는 미세조정된 T5 모델을 통한 조건부 생성이 분류보다 우수함을 보이며, 매크로-F1 점수 0.502를 기록하여 랭킹에서 2위를 차지했다.

ABSTRACT

Emotion is fundamental to humanity. The ability to perceive, understand and respond to social interactions in a human-like manner is one of the most desired capabilities in artificial agents, particularly in social-media bots. Over the past few years, computational understanding and detection of emotional aspects in language have been vital in advancing human-computer interaction. The WASSA Shared Task 2021 released a dataset of news-stories across two tracks, Track-1 for Empathy and Distress Prediction and Track-2 for Multi-Dimension Emotion prediction at the essay-level. We describe our system entry for the WASSA 2021 Shared Task (for both Track-1 and Track-2), where we leveraged the information from Pre-trained language models for Track-specific Tasks. Our proposed models achieved an Average Pearson Score of 0.417 and a Macro-F1 Score of 0.502 in Track 1 and Track 2, respectively. In the Shared Task leaderboard, we secured 4th rank in Track 1 and 2nd rank in Track 2.

연구 동기 및 목표

• 매개변수 공유를 활용한 사전 훈련된 언어 모델을 사용하여 뉴스 스토리의 공감 및 고통 예측 성능을 향상시키기.
• 다차원 정서 예측에 있어 조건부 생성 모델이 기존 분류 모델보다 우수한가를 조사하기.
• 소규모 데이터셋에서 정서 분석을 위한 작업 전용 점진적 미세조정의 효과를 평가하기.
• 인구통계학적 및 성격 특징을 통합하여 정서 예측 성능 향상 여부 탐색하기.

제안 방법

• 트랙 1에서는 공감 및 고통 예측 헤드 간 매개변수 공유를 활용한 다중 작업 학습을 수행하며, 문장 임베딩과 정규화된 인구통계학적 특징을 활용한다.
• 트랙 1의 최종 예측은 문장 임베딩과 인구통계학적 임베딩을 연결한 후, 다층 퍼셉트론(MLP)을 사용한 회귀를 통해 수행된다.
• 트랙 2에서는 미세조정된 T5 및 Pegasus 모델을 사용하여 정서 예측을 조건부 생성 작업으로 설정한다.
• 작업 전용 정서 분류 데이터셋을 사용하여 사전 훈련된 T5-base 모델에 점진적 미세조정을 적용하여 기본 모델 대비 성능 향상을 이룬다.
• 시스템은 Hugging Face의 사전 훈련된 모델(예: T5-base, BERT-base)을 사용하며, 전이 학습 및 추상화 연구를 통해 아키텍처 간 성능 비교를 수행한다.
• 성능 평가는 개발 세트와 보류된 테스트 세트에서 평가되며, 트랙 1은 피어슨 상관계수, 트랙 2는 매크로-F1을 사용한다.

실험 결과

연구 질문

• RQ1 공감 및 고통 예측 간 매개변수 공유가 뉴스 스토리 정서 분석 성능 향상에 기여하는가?
• RQ2 소규모 데이터셋에서 다차원 정서 예측에 있어 조건부 생성 모델이 기존 분류 모델보다 우수한가?
• RQ3 사전 훈련된 언어 모델의 작업 전용 점진적 미세조정이 정서 예측 작업 성능 향상에 기여하는가?
• RQ4 정규화된 인구통계학적 및 성격 특징은 정서 예측 모델 성능 향상에 얼마나 효과적인가?

주요 결과

• 최종 트랙 1 제출 결과는 보류된 테스트 세트에서 평균 피어슨 상관계수 0.417을 기록하여 공동 과제 랭킹에서 4위를 차지했다.
• 미세조정된 T5-base 모델을 사용한 트랙 2 시스템은 개발 세트에서 매크로-F1 점수 0.572를 기록하여 BERT-base(0.38)와 ALBERT-base-v2(0.4739)를 모두 앞섰다.
• 최종 트랙 2 제출 결과는 테스트 세트에서 매크로-F1 점수 0.502를 기록하여 공동 과제 랭킹에서 2위를 차지했다.
• 조기 생성 모델(T5 및 Pegasus)은 문맥 기반 임베딩 기반 분류 모델(BERT 및 ALBERT)보다 트랙 2의 정서 예측에서 뛰어난 성능을 보였다.
• T5 모델의 작업 전용 점진적 미세조정은 성능 향상에 크게 기여하였으며, 미세조정된 버전은 기존 T5 모델 대비 매크로-F1 점수 0.572를 기록한 반면, 기본 T5 모델은 0.5259였다.
• 추상화 연구 결과, XGBoost나 AdaBoost와 같은 다른 모델들 역시 강력한 성능을 보였음에도 불구하고, 검증 세트에서 MLP 기반 회귀 헤드가 가장 우수한 성능을 보였다.