[논문 리뷰] Modeling Label Semantics for Predicting Emotional Reactions

Radhika Gaonkar, Hee Young Kwon외 3명|arXiv (Cornell University)|2020. 06. 09.

Topic Modeling참고 문헌 11인용 수 5

한 줄 요약

이 논문은 스토리 내 다중 레이블 감정 예측을 향상시키기 위해 학습된 임베딩과 레이블 상관관계를 통해 감정 레이블 의미를 모델링하는 방법을 제안한다. 레이블 인식 주의, 훈련 중 상관관계 정규화, 그리고 레이블이 없는 데이터에 대한 준지도 학습을 통합함으로써, BERT 기반 모델 대비 F1 점수 4.9점 향상시키고 ROCStories 감정 추론 벤치마크에서 새로운 최고 성능을 달성하였다.

ABSTRACT

Predicting how events induce emotions in the characters of a story is typically seen as a standard multi-label classification task, which usually treats labels as anonymous classes to predict. They ignore information that may be conveyed by the emotion labels themselves. We propose that the semantics of emotion labels can guide a model's attention when representing the input story. Further, we observe that the emotions evoked by an event are often related: an event that evokes joy is unlikely to also evoke sadness. In this work, we explicitly model label classes via label embeddings, and add mechanisms that track label-label correlations both during training and inference. We also introduce a new semi-supervision strategy that regularizes for the correlations on unlabeled data. Our empirical evaluations show that modeling label semantics yields consistent benefits, and we advance the state-of-the-art on an emotion inference task.

연구 동기 및 목표

• 다중 레이블 감정 분류에서 감정 레이블을 익명 클래스로 간주하는 데서 비롯되는 한계를 해결한다.
• 감정 레이블 간 의미 관계(예: 기쁨과 슬픔은 종종 상호 배타적임)를 활용해 감정 예측을 향상시킨다.
• 주의 및 예측 메커니즘에 레이블 의미를 통합함으로써 모델의 해석 가능성과 일관성을 향상시킨다.
• 레이블 상관관계를 활용해 레이블이 없는 데이터에서 준지도 학습을 탐색함으로써 일반화 성능을 향상시킨다.
• BERT 기반 모델에 레이블 의미를 통합함으로써 서사 감정 추론 분야의 최고 성능을 향상시킨다.

제안 방법

• 각 감정 레이블을 사전 학습된 단어 임베딩(예: BERT 임베딩)으로 초기화된 학습된 임베딩으로 표현한다.
• 레이블 임베딩 주의 네트워크(LEAM)를 사용해 레이블 임베딩과 BERT로 인코딩된 토큰 표현 간의 주의를 계산함으로써 레이블 인식 컨텍스트 표현을 생성한다.
• 훈련 중에 알려진 레이블 동시 발생 패턴과 일치하지 않는 예측을 방지하기 위해 상관관계 정규화 손실을 도입한다.
• 예측 확률에 레이블 상관관계 행렬을 적용하여 한 감정에 대한 신뢰도가 관련 감정의 예측에 영향을 주도록 수정한다.
• 레이블 상관관계 패턴을 정규화하기 위해 레이블이 없는 데이터를 활용하는 준지도 학습 전략을 적용함으로써 일반화 성능을 향상시킨다.
• 전체 입력(스토리 컨텍스트와 레이블 임베딩)을 포함해 BERT를 미세조정한다.

실험 결과

연구 질문

• RQ1 감정 레이블의 의미를 모델링함으로써 서사적 맥락에서 다중 레이블 감정 예측을 향상시킬 수 있는가?
• RQ2 레이블-레이블 상관관계는 감정 추론에서 모델 성능과 예측 일관성에 어떤 영향을 미치는가?
• RQ3 레이블 상관관계를 레이블이 없는 데이터에서 준지도 신호로 효과적으로 활용할 수 있는가? 이는 일반화 성능 향상에 기여하는가?
• RQ4 주의를 통해 레이블 의미를 통합함으로써 모델의 해석 가능성과 인간이 기대하는 감정 관계와의 일치성이 향상되는가?
• RQ5 레이블 임베딩과 상관관계 모델링이 감정 추론 작업에서 표준 다중 레이블 분류 기반 모델보다 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 제안된 모델은 BERT 기반 모델 대비 절대 F1 점수 4.9점 향상시켜 ROCStories 감정 추론 데이터셋에서 새로운 최고 성능인 F1 점수 65.8을 달성하였다.
• 임베딩과 주의를 통한 레이블 의미 모델링은 더 일관된 예측을 이끌어내었으며, BERT보다 더 많은 감정 클래스를 한 인스턴스당 예측함(8,839 vs. 5,024).
• 훈련 및 추론 중 레이블 상관관계 정규화를 통합함으로써, 레이블 의미를 통합한 기반 모델 대비 F1 점수 2점 향상되었다.
• 레이블 상관관계를 활용한 준지도 학습이 가장 큰 성능 향상을 가져왔으며, 랜덤화 테스트를 통한 통계적 유의성 확인으로 모든 기반 모델을 뛰어넘었다.
• 정성적 분석 결과, 잘못된 예측는 정확한 레이블보다 낮은 신뢰도 점수를 보였으며, 최적의 임계값 설정을 통해 추가 향상 가능성을 시사하였다.
• 의미적 레이블 관계를 더 잘 포착함을 입증하였으며, 특히 기쁨과 슬픔과 같이 의미적으로 관련된 감정 쌍에서 동시에 예측을 방지함으로써 성능 향상을 보였다.