[논문 리뷰] DENS: A Dataset for Multi-class Emotion Analysis

Chen Liu, Muhammad Osama외 1명|arXiv (Cornell University)|2019. 10. 25.

Sentiment Analysis and Opinion Mining참고 문헌 19인용 수 4

한 줄 요약

이 논문은 고전 문학과 현대 온라인 스토리에서 유래한 장문의 서사 문장들로 구성된 DENS라는 새로운 데이터셋을 소개한다. 이 데이터셋은 아마존 Mechanical Turk를 통해 9개의 감정 클래스(기쁨, 슬픔, 분노, 공포, 기대, 놀람, 사랑, 혐오, 중립)로 주석 처리되었다. 연구에서는 다양한 모델을 벤치마킹하였으며, 사전 훈련된 BERT 모델을 미세조정한 결과, 마이크로-F1 스코어 60.4%로 가장 높은 성능을 기록하여, 문장 수준 및 이진 감정 분류 과제를 넘어서 다중 클래스 감정 분석을 발전시키는 데 데이터셋의 가치를 입증한다.

ABSTRACT

We introduce a new dataset for multi-class emotion analysis from long-form narratives in English. The Dataset for Emotions of Narrative Sequences (DENS) was collected from both classic literature available on Project Gutenberg and modern online narratives available on Wattpad, annotated using Amazon Mechanical Turk. A number of statistics and baseline benchmarks are provided for the dataset. Of the tested techniques, we find that the fine-tuning of a pre-trained BERT model achieves the best results, with an average micro-F1 score of 60.4%. Our results show that the dataset provides a novel opportunity in emotion analysis that requires moving beyond existing sentence-level techniques.

연구 동기 및 목표

• 영어 장문 서사에 대한 대규모 다중 클래스 감정 데이터셋이 부족한 점을 보완하기 위해.
• 이진 또는 단순 텍스트 감정 분류를 넘어서 복잡한 감정의 변화를 포괄하는 기준 데이터셋을 제공하기 위해.
• 감정이 다층적이고 맥락 의존적인 서사 맥락에서 감정 분석 연구를 가능하게 하기 위해.
• 연속적이고 일관된 장문의 문장에서 감정적 내용을 이해할 수 있는 모델 개발을 지원하기 위해.

제안 방법

• 데이터셋은 프로젝트 구니즈와 워타파드에서 선별한 문장들(40~200 토큰)을 기반으로 구성되었으며, 감정이 풍부한 내용을 중심으로 선별하였다.
• 감정 주석은 플루치크의 휠을 수정한 기반으로, 신뢰를 사랑으로 대체하고 중립을 추가하여 총 9개의 감정 카테고리로 구성되었다.
• 기계적 인간(Mechanical Turk)의 컬렉티브 작업자들이 각 문장을 주된 감정으로 레이블링하였으며, 포함을 위해 다수의 동의(플라이스의 κ > 0.4)를 요구하였다.
• 주석자 간 일치도가 낮은 문장은 전문 내부 주석자들이 해결하여 레이블 품질을 확보하였다.
• TF-IDF + SVM, 어휘 기반 방법, Doc2Vec, RNN, 자기주의 어텐션, ELMo, 사전 훈련된 BERT 등 다양한 모델을 평가하였다.
• 최상의 기준으로서, 캐이스가 없는 BERT-Large 모델의 미세조정을 사용하였으며, 교차 검증을 통한 마이크로-F1 스코어를 보고하였다.

실험 결과

연구 질문

• RQ1 짧고 고립된 텍스트가 아닌 장문의 서사 문장에서 다중 클래스 감정 분류를 효과적으로 수행할 수 있는가?
• RQ2 BERT와 같은 사전 훈련된 언어 모델이 전통적인 백오브워즈 및 어휘 기반 방법보다 서사 감정 분류에서 어떻게 성능을 내는가?
• RQ3 어텐션 메커니즘과 맥락 기반 임베딩은 서사 맥락에서 감정 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 서사 맥락과 문장 길이는 감정 주석 일관성과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 BERT 모델을 미세조정한 결과, DENS 데이터셋에서 평균 마이크로-F1 스코어 60.4%로 가장 높은 성능을 기록하였다.
• 백오브워즈 및 어휘 기반 모델들(예: TF-IDF + SVM, NRC + SVM)은 성능이 열악하여 마이크로-F1 스코어가 0.46 이하에 머물렀다.
• 신경망 순차 모델들인 BiRNN에 자기주의 어텐션을 적용한 모델과 ELMo 기반 모델들은 중간 정도의 향상을 보였으며, 마이크로-F1 스코어는 0.487에서 0.516 사이를 기록하였다.
• 맥락 기반 임베딩(ELMo 및 BERT)은 정적 단어 임베딩과 어휘 기반 접근 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 이 데이터셋은 서사 감정이 종종 복잡하고 맥락 의존적임을 입증하며, 장거리 의존성과 의미의 미묘함을 포착할 수 있는 모델가 필요함을 시사한다.
• 결과는 현재 모델들이 아직 표현 빈도가 낮은 감정을 다루는 데 어려움을 겪고 있음을 보여주며, 향후 연구에서는 소수 샘플 학습 및 지식 통합 기법이 필요함을 시사한다.