[논문 리뷰] Speaker-Guided Encoder-Decoder Framework for Emotion Recognition in Conversation

Yinan Bao, Qianwen Ma외 3명|arXiv (Cornell University)|2022. 06. 07.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 대화 내 동적인 내·외부 발화자 간 의존성을 새로운 발화자 상태 인코더(SSE)를 통해 공동으로 모델링하는 Speaker-Guided Encoder-Decoder(SGED) 프레임워크를 제안한다. 이 프레임워크는 동적인 발화자 상태로 디코더를 안내함으로써 감정 예측 성능을 향상시켜, 세 가지 벤치마크 데이터셋에서 최고 성능을 기록하며, 특히 다자 대화에서 뛰어난 성능을 보인다.

ABSTRACT

The emotion recognition in conversation (ERC) task aims to predict the emotion label of an utterance in a conversation. Since the dependencies between speakers are complex and dynamic, which consist of intra- and inter-speaker dependencies, the modeling of speaker-specific information is a vital role in ERC. Although existing researchers have proposed various methods of speaker interaction modeling, they cannot explore dynamic intra- and inter-speaker dependencies jointly, leading to the insufficient comprehension of context and further hindering emotion prediction. To this end, we design a novel speaker modeling scheme that explores intra- and inter-speaker dependencies jointly in a dynamic manner. Besides, we propose a Speaker-Guided Encoder-Decoder (SGED) framework for ERC, which fully exploits speaker information for the decoding of emotion. We use different existing methods as the conversational context encoder of our framework, showing the high scalability and flexibility of the proposed framework. Experimental results demonstrate the superiority and effectiveness of SGED.

연구 동기 및 목표

• 감정 표현에 영향을 주는 동적인 복잡한 발화자 상호작용을 포착하지 못하는 기존 ERC 모델의 한계를 해결하기 위해.
• 통합 프레임워크 내에서 동적인 내발화자 의존성(감정의 관성)과 외발화자 의존성(다른 사람으로부터의 감정 영향)을 공동으로 모델링하기 위해.
• 다양한 기존 대화적 맥락 인코더와 통합 가능한 유연하고 확장 가능한 프레임워크를 설계하기 위해.
• 동적인 발화자 상태 표현으로 디코딩 과정을 안내함으로써 감정 인식 성능을 향상시키기 위해.

제안 방법

• 모듈러 구조를 가진 Speaker-Guided Encoder-Decoder(SGED) 프레임워크를 제안한다: 대화 맥락 인코더(CCE)와 발화자 상태 인코더(SSE), 그 다음에 발화자 가중 디코더(SGD)를 포함한다.
• 반복 상태 업데이트를 사용하여 내발화자 의존성(자기 영향)과 외발화자 의존성(다른 사람의 영향)을 모두 동적으로 모델링하는 새로운 발화자 상태 인코더(SSE)를 도입한다.
• SSE에서 생성된 발화자 상태 벡터를 사용해 SGD 모듈의 디코딩 과정을 조건화함으로써 단계별로 맥락 인식 감정 예측을 가능하게 한다.
• 다양한 기존 CCEs(예: DialogueGCN, BERT 기반 모델)와의 통합을 지원하여 높은 확장성과 유연성을 입증한다.
• SSE에서 발화자 고유의 이력과 주변 발화자 상태를 적응적으로 융합하기 위해 게이트 메커니즘을 도입하여 동적 표현 학습을 지원한다.
• 세 가지 벤치마크 데이터셋(EmoryNLP, IEMOCAP, MELD)에 프레임워크를 적용하고, 구성 요소 기여도를 검증하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 동적인 내·외부 발화자 간 의존성을 공동으로 모델링하면 다턴 대화에서 감정 인식 성능이 향상되는가?
• RQ2 제안된 발화자 가중 디코더는 정적 발화자 임베딩을 사용하는 표준 디코딩 방식보다 어떻게 비교되는가?
• RQ3 다양한 대화 설정(예: 이인 대화 vs. 다자 대화)에서 내발화자 의존성과 외발화자 의존성의 상대적 기여도는 어떠한가?
• RQ4 제안된 발화자 모델링 기법은 다양한 ERC 벤치마크에서 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 SGED 프레임워크는 세 가지 벤치마크 데이터셋(EmoryNLP, IEMOCAP, MELD)에서 최고 성능을 기록한다.
• MELD 데이터셋에서 SGED는 다자 대화에서 기준 모델 대비 1.28%의 절대적 성능 향상을 기록했으며, 5명의 발화자가 참여한 대화에서 가장 큰 성과를 보였다.
• 아블레이션 스터디 결과, SSE에서 내발화자 또는 외발화자 의존성을 제거할 경우 성능 저하가 심각하게 발생하여, 두 의존성 간 상호 보완적 성격을 확인했다.
• SGD 모듈을 제거할 경우 이인 대화에서 1.23%, 다자 대화에서 1.28%의 성능 향상이 발생함으로써, 발화자 가중 디코더의 기여도가 뚜렷하게 드러났다.
• SSE와 SGD를 모두 제거할 경우 전체 SGED 모델의 성능이 급격히 떨어지며, 제안된 발화자 모델링 기법의 효과성을 검증했다.
• 오류 분석 결과, 중립 감정이 자주 비중립 감정(예: 기쁨)과 혼동되며, 기쁨과 놀람과 같은 유사 감정 간 구분이 여전히 어려운 것으로 나타났다.