[논문 리뷰] Cross-Language Speech Emotion Recognition Using Multimodal Dual Attention Transformers

Syed Aun Muhammad Zaidi, Siddique Latif외 1명|arXiv (Cornell University)|2023. 06. 23.

Emotion and Mood Recognition인용 수 8

한 줄 요약

MDAT는 교차 언어 SER을 향상시키기 위해雙 주의(attention) 메커니즘(그래프 어텐션 및 코-어텐션)과 트랜스포머 인코더를 사용하고 대상 언어 데이터가 제한된 상황에서 다국어 프리트레인 모델을 활용합니다.

ABSTRACT

Despite the recent progress in speech emotion recognition (SER), state-of-the-art systems are unable to achieve improved performance in cross-language settings. In this paper, we propose a Multimodal Dual Attention Transformer (MDAT) model to improve cross-language SER. Our model utilises pre-trained models for multimodal feature extraction and is equipped with a dual attention mechanism including graph attention and co-attention to capture complex dependencies across different modalities and achieve improved cross-language SER results using minimal target language data. In addition, our model also exploits a transformer encoder layer for high-level feature representation to improve emotion classification accuracy. In this way, MDAT performs refinement of feature representation at various stages and provides emotional salient features to the classification layer. This novel approach also ensures the preservation of modality-specific emotional information while enhancing cross-modality and cross-language interactions. We assess our model's performance on four publicly available SER datasets and establish its superior effectiveness compared to recent approaches and baseline models.

연구 동기 및 목표

• 대상 언어 데이터가 제한된 상황에서 교차 언어 SER을 다룬다.
• 음성 및 텍스트 특징을 위해 다국어 프리트레인 모델을 활용한다.
• 모달리티별 감정 정보를 보존하면서 교차 모달 상호작용을 강화한다.
• 듀얼 어텐션과 트랜스포머 인코더를 활용해 언어 간 감정 분류를 개선한다.

제안 방법

• 음성 임베딩을 위해 XLS-R(다국어 wav2vec 2.0)을 사용하고 텍스트 임베딩을 위해 RoBERTa를 사용한다.
• 텍스트 특징 차원을 음성 특징에 맞추기 위해 1x1 컨볼루션을 적용한다.
• 모달리티 내부 의존성을 모델링하기 위한 그래프 어텐션 층을 적용한다.
• 음성과 텍스트 간 교차 모달 상호작용을 포착하기 위해 코-어텐션 층을 적용한다.
• 주입(input)과 어텐드된 특징들을 연결하고 트랜스포머 인코더를 통해 고수준 표현으로 전달한다.
• 연결된 트랜스포머 출력에 대해 Dense-소프트맥스(Classifier)를 사용한다.

실험 결과

연구 질문

• RQ1 듀얼 어텐션이 결합된 멀티모달 트랜스포머가 제한된 대상 언어 데이터로 교차언어 SER을 개선할 수 있는가?
• RQ2 음성 및 텍스트를 위한 다국어 프리트레인 모델이 언어 간 일반화를 향상시키는가?
• RQ3 그래프 어텐션과 코-어텐션의 결합이 모달리티별 정보를 보존하면서 교차 모달 융합을 개선하는가?
• RQ4 MDAT가 언어 간 Baseline BiLSTM 및 다른 멀티모달 SER 방법과 비교하여 어떤 차이가 있는가?

주요 결과

Dataset	Baseline UA	SAFRLM UA	HCAM UA	MDAT UA
IEMOCAP (4 클래스)	63.33	72.14	73.67	75.58
EMODB (7 클래스)	81.00	73.43	83.16	84.50
URDU (4 클래스)	91.13	84.73	91.56	94.33
EMOVO (6 클래스)	72.25	67.50	76.66	82.81

• MDAT는 네 가지 언어 데이터셋에서 교차 말뭉치 내 평가에서 Baselines 및 기존 멀티모달 방법을 능가한다.
• IEMOCAP, URDU, EMODB, EMOVO에서 MDAT는 Baseline, SAFRLM, HCAM보다 더 높은 비가중 정확도(unweighted accuracy)를 달성한다.
• 모델은 교차 언어 프리트레인 표현을 활용하여 교차 언어 적응력이 우수함을 보인다.
• 트랜스포머 기반의 고수준 표현 학습이 듀얼 어텐션만 사용하는 접근법보다 감정 분류 정확도를 추가로 개선한다.
• MDAT는 제시된 내말뭉치 비교에서 보고된 UA 중 최고를 달성한다.