[논문 리뷰] A Hierarchical Transformer with Speaker Modeling for Emotion Recognition in Conversation

Jiangnan Li, Zheng Lin외 3명|arXiv (Cornell University)|2020. 12. 29.

Sentiment Analysis and Opinion Mining참고 문헌 22인용 수 10

한 줄 요약

이 논문은 대화에서 정서 인식을 위한 계층적 트랜스포머와 발화자 모델링(이하 TRMSM)을 제안하며, 복잡한 발화자 간 상호작용을 2진수의 내부 및 외부 발화자 의존성으로 단순화한다. 일반적인, 내부 발화자, 외부 발화자 어텐션을 위한 세 가지 전용 마스크를 별도의 트랜스포머 블록에 적용하고, 학습 가능한 어텐션을 통해 출력을 융합함으로써, IEMOCAP 및 MELD에서 최신 기술 수준의 성능을 달성하며 장거리 문맥 정보와 발화자 인식 정보를 효과적으로 포착한다.

ABSTRACT

Emotion Recognition in Conversation (ERC) is a more challenging task than conventional text emotion recognition. It can be regarded as a personalized and interactive emotion recognition task, which is supposed to consider not only the semantic information of text but also the influences from speakers. The current method models speakers' interactions by building a relation between every two speakers. However, this fine-grained but complicated modeling is computationally expensive, hard to extend, and can only consider local context. To address this problem, we simplify the complicated modeling to a binary version: Intra-Speaker and Inter-Speaker dependencies, without identifying every unique speaker for the targeted speaker. To better achieve the simplified interaction modeling of speakers in Transformer, which shows excellent ability to settle long-distance dependency, we design three types of masks and respectively utilize them in three independent Transformer blocks. The designed masks respectively model the conventional context modeling, Intra-Speaker dependency, and Inter-Speaker dependency. Furthermore, different speaker-aware information extracted by Transformer blocks diversely contributes to the prediction, and therefore we utilize the attention mechanism to automatically weight them. Experiments on two ERC datasets indicate that our model is efficacious to achieve better performance.

연구 동기 및 목표

• 대화에서 쌍별 발화자 상호작용을 모델링하는 기존 방법의 계산 복잡도 및 확장성 문제를 해결하기 위해.
• 더 나은 일반화 및 확장성을 위해 세부적인 관계에서 2진수의 내부 및 외부 발화자 의존성으로 발화자 상호작용 모델링을 단순화하기 위해.
• 맞춤형 어텐션 마스크를 통합하여 계층적 트랜스포머에서 장거리 문맥 모델링을 가능하게 하기 위해.
• 정서 예측을 향상시키기 위해 다양한 발화자 인식 문맥 표현을 자동으로 가중하고 융합하기 위해 어텐션 기반 메커니즘을 사용하기 위해.

제안 방법

• 모델은 문장 수준에서 BERT를 사용하여 발화 인코딩을 수행하고, 대화 수준에서 트랜스포머를 사용하여 문맥 모델링을 수행하는 이중 수준의 계층적 트랜스포머를 사용한다.
• 세 가지 별도의 마스크를 설계한다: 일반 어텐션을 위한 일반 마스크, 동일 발화자 발화를 대상으로 하는 내부 발화자 마스크, 모든 다른 발화자를 종합적으로 대상으로 하는 외부 발화자 마스크.
• 각 마스크는 대화 수준에서 별도로 독립된 트랜스포머 블록에 적용되어 문맥적 의존성의 고유한 표현을 학습한다.
• 세 블록에서 유도된 발화자 인식 표현은 학습 가능한 어텐션 메커니즘을 통해 동적으로 융합되어 정서 분류에 유용한 특징을 우선순위화한다.
• 추가 및 연결과 같은 대체 융합 전략을 평가하여 어텐션 기반 융합의 우수성을 입증한다.
• 모델은 IEMOCAP 및 MELD와 같은 두 개의 공개 ERC 데이터셋에서 엔드 투 엔드로 훈련되며, 각 구성 요소의 유효성을 검증하기 위한 분석 연구가 수행된다.

실험 결과

연구 질문

• RQ1 쌍별 관계에서 2진수의 내부 및 외부 발화자 의존성으로 발화자 상호작용 모델링을 단순화하면 ERC에서 확장성과 성능 향상에 기여하는가?
• RQ2 계층적 트랜스포머에서 전용 어텐션 마스크가 일반, 내부 발화자, 외부 발화자 의존성을 동시에 효과적으로 모델링할 수 있는가?
• RQ3 어디서나 정해진 융합 방법(예: 덧셈 또는 연결)보다 어텐션 기반 융합이 ERC에서 성능을 높이는가?
• RQ4 특히 局부 문맥에 제한된 모델과 비교할 때, 증가하는 문맥 길이에 따라 모델의 성능은 어떻게 변화하는가?
• RQ5 내부 및 외부 발화자 의존성은 다양한 대화 맥락에서 정서 예측에 얼마나 기여하는가?

주요 결과

• 제안된 TRMSM 모델은 IEMOCAP 및 MELD 데이터셋에서 기존 방법(예: DialogueGCN 포함)을 능가하는 최신 기술 수준의 성능을 달성한다.
• 분석 연구 결과, 일반 마스크 또는 외부 발화자 마스크를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 세 구성 요소 모두의 중요성을 입증한다.
• 전체 어텐션 기반 융합(TRMSM-Att)을 사용한 모델는 추가 또는 연결을 사용한 모델보다 일관되게 뛰어난 성능을 보이며, 학습 가능한 어텐션의 효과를 입증한다.
• 문맥 창이 길어질수록 성능 향상이 이루어지며, TRMSM-Att는 전체 문맥을 사용할 때조차 DialogueGCN보다 뛰어난 결과를 기록하여 뛰어난 장거리 모델링 능력을 보여준다.
• 사례 연구 결과, 모델가 내부 발화자 의존성(예: 지속적인 정서 상태) 또는 외부 발화자 의존성(예: 타인으로부터의 정서 영향)이 예측에 가장 중요한 경우를 정확히 식별함을 확인한다.
• MELD에서 레이어 수를 늘릴수록 희귀 정서 클래스(Fear, Disgust)에서 과적합 현상이 발생함을 확인하여, 데이터 불균형 문제가 여전히 연구가 필요한 과제임을 시사한다.