[논문 리뷰] BiERU: Bidirectional Emotional Recurrent Unit for Conversational Sentiment Analysis

Wei Li, Wei Shao외 2명|arXiv (Cornell University)|2020. 05. 31.

Sentiment Analysis and Opinion Mining참고 문헌 64인용 수 40

한 줄 요약

BiERU는 Generalized Neural Tensor Block (GNTB)과 Two-Channel Feature Extractor (TFE)를 통해 대화에서 맥락을 모델링하는 빠르고 간결한 파티-무관 프레임워크를 도입하며, bidirectional 변형 BiERU-gc와 BiERU-lc가 매개변수가 적은 상태에서 최첨단 결과를 달성합니다.

ABSTRACT

Sentiment analysis in conversations has gained increasing attention in recent years for the growing amount of applications it can serve, e.g., sentiment analysis, recommender systems, and human-robot interaction. The main difference between conversational sentiment analysis and single sentence sentiment analysis is the existence of context information which may influence the sentiment of an utterance in a dialogue. How to effectively encode contextual information in dialogues, however, remains a challenge. Existing approaches employ complicated deep learning structures to distinguish different parties in a conversation and then model the context information. In this paper, we propose a fast, compact and parameter-efficient party-ignorant framework named bidirectional emotional recurrent unit for conversational sentiment analysis. In our system, a generalized neural tensor block followed by a two-channel classifier is designed to perform context compositionality and sentiment classification, respectively. Extensive experiments on three standard datasets demonstrate that our model outperforms the state of the art in most cases.

연구 동기 및 목표

• 대화형 감정 분석에서 맥락 정보를 인코딩하는 문제를 해결한다.
• 다중 턴 대화를 처리하는 빠르고 간결하며 매개변수 효율적인 party-ignorant 모델을 개발한다.
• 맥락 구성성을 도입하여 맥락을 발화 표현에 통합하는 메커니즘을 도입한다.
• 감정 특징을 효율적으로 추출하여 감정 분류 및 회귀를 향상시킨다.
• 적은 매개변수로 표준 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• bidirectional ERU(BiERU)로 Generalized Neural Tensor Block (GNTB)과 Two-channel Feature Extractor (TFE)로 구성된 구조를 제안한다.
• GNTB는 이전 맥락 발화와 현재 발화를 결합해 컨텍스트화된 발화 벡터 p_t를 생성함으로써 맥락 구성성을 모델링한다.
• TFE는 LSTM 분기와 1D-CNN 분기를 사용하여 p_t에서 감정 특징을 추출하고 예측에 사용되는 e_t를 생성한다.
• 두 가지 BiERU 변형을 구현한다: BiERU-gc (global context)와 BiERU-lc (local context)로 서로 다른 맥락 정보를 포착한다.
• Cross-entropy 손실을 분류에, MSE 손실을 회귀에 사용하고 L2 정규화와 Adam 최적화로 모델을 학습한다.

실험 결과

연구 질문

• RQ1 파티-ignorant한 모델이 명시적 화자 구분 없이도 대화 맥락을 효과적으로 포착하여 감정 분석을 수행할 수 있는가?
• RQ2 GNTB를 통한 맥락 구성성이 기존 방법과 비교하여 발화 표현 및 다운스트림 감정 분류/회귀를 개선하는가?
• RQ3 전역 컨텍스트 입력과 지역 컨텍스트 입력이 표준 대화 감정 벤치마크에서 성능에 어떤 차이를 나타내는가?
• RQ4 BiERU의 매개변수 효율성과 학습 효율성이 최첨단 파티 의존 및 파티 무관 기준선과 비교하여 어떤가?

주요 결과

• BiERU-lc가 IEMOCAP, MELD에서 최첨단 결과를 달성하고 AVEC에서도 텍스트 모듀얼리티를 사용해 경쟁력 있는 성능을 보인다.
• BiERU 모델은 DialogueRNN, DialogueGCN, AGHMN과 같은 기준선보다 더 적은 매개변수로 여러 지표에서 우수한 성능을 보인다.
• BiERU-lc는 일반적으로 BiERU-gc보다 우수한 경향이 있어 지역 맥락 정보가 감정 모델링에 더 효과적임을 시사한다.
• ablation 연구에서 GNTB와 TFE를 결합하면 두 구성요소를 개별적으로 사용하는 것보다 정확도/F1 점수에서 상당한 향상을 보인다.
• BiERU는 매개변수 효율이 좋고 예: IEMOCAP에서 약 0.5M 매개변수 수준으로, DialogueRNN의 약 1M 대비 빠른 학습 시간을 보인다.