[논문 리뷰] CTL-MTNet: A Novel CapsNet and Transfer Learning-Based Mixed Task Net for the Single-Corpus and Cross-Corpus Speech Emotion Recognition

Xin-Cheng Wen, Jiaxin Ye외 5명|arXiv (Cornell University)|2022. 07. 18.

Emotion and Mood Recognition인용 수 11

한 줄 요약

이 논문은 단일 및 크로스코퍼스 음성 감정 인식을 위한 새로운 캡슐넷과 전이학습 기반 혼합 작업 네트워크인 CTL-MTNet을 제안한다. 자기주의(self-attention)를 통합한 컨볼루션-풀링 및 주의력 캡슐넷(CPAC) 모듈과 마진 불일치 불일치(Margin Disparity Discrepancy, MDD)를 활용한 코퍼스 적응 적대 모듈(Corpus Adaptation Adversarial Module, CAAM)을 통해 도메인 불변 감정 표현을 학습함으로써, 네 가지 다국어 SER 데이터셋에서 단일 및 크로스코퍼스 설정 모두에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Speech Emotion Recognition (SER) has become a growing focus of research in human-computer interaction. An essential challenge in SER is to extract common attributes from different speakers or languages, especially when a specific source corpus has to be trained to recognize the unknown data coming from another speech corpus. To address this challenge, a Capsule Network (CapsNet) and Transfer Learning based Mixed Task Net (CTLMTNet) are proposed to deal with both the singlecorpus and cross-corpus SER tasks simultaneously in this paper. For the single-corpus task, the combination of Convolution-Pooling and Attention CapsNet module CPAC) is designed by embedding the self-attention mechanism to the CapsNet, guiding the module to focus on the important features that can be fed into different capsules. The extracted high-level features by CPAC provide sufficient discriminative ability. Furthermore, to handle the cross-corpus task, CTL-MTNet employs a Corpus Adaptation Adversarial Module (CAAM) by combining CPAC with Margin Disparity Discrepancy (MDD), which can learn the domain-invariant emotion representations through extracting the strong emotion commonness. Experiments including ablation studies and visualizations on both singleand cross-corpus tasks using four well-known SER datasets in different languages are conducted for performance evaluation and comparison. The results indicate that in both tasks the CTL-MTNet showed better performance in all cases compared to a number of state-of-the-art methods. The source code and the supplementary materials are available at: https://github.com/MLDMXM2017/CTLMTNet

연구 동기 및 목표

• 다양한 화자와 언어를 가진 서로 다른 음성 코퍼스 간에서 공유되는 감정 표현을 학습하는 과제를 해결하기 위해.
• 자기주의 메커니즘을 통해 특징의 판별력을 향상시킴으로써 단일 코퍼스 음성 감정 인식 성능을 향상시키기 위해.
• 적대적 적응을 통해 도메인 불변 표현을 학습함으로써 강건한 크로스코퍼스 감정 인식을 가능하게 하기 위해.
• 단일 및 크로스코퍼스 SER 작업을 동시에 효과적으로 처리할 수 있는 통합 프레임워크를 개발하기 위해.

제안 방법

• 자기주의 메커니즘을 통합한 컨볼루션-풀링과 캡슐넷을 조합한 새로운 CPAC 모듈을 제안하여, 캡슐 주의력을 긍정적인 판별 특징 쪽으로 유도한다.
• CPAC 모듈을 코퍼스 적응 적대 모듈(CAAM)과 통합하여 도메인 분포를 정렬하고, 다양한 코퍼스 간 공통 감정 특징을 추출한다.
• 도메인 적응 손실로 마진 불일치 불일치(Margin Disparity Discrepancy, MDD)를 활용하여 소스 도메인과 타겟 도메인 표현 간의 격리 차이를 최소화한다.
• 단일 코퍼스 및 크로스코퍼스 SER 목표를 동시에 최적화할 수 있도록 혼합 작업 학습 전략을 도입한다.
• 일반화 능력과 강건성을 평가하기 위해 네 개의 다국어 SER 데이터셋을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 공유 특징으로 네트워크를 초기화하고 특정 코퍼스 작업에 맞게 미세조정함으로써 전이학습 원리를 활용한다.

실험 결과

연구 질문

• RQ1 자기주의를 갖춘 캡슐넷 기반 아키텍처가 단일 코퍼스 음성 감정 인식을 위한 특징 표현을 향상시킬 수 있는가?
• RQ2 적대적 적응과 MDD를 활용해 다양한 음성 코퍼스 간에 도메인 불변 표현을 얼마나 효과적으로 학습할 수 있는가?
• RQ3 CPAC와 CAAM의 통합이 기존 방법에 비해 크로스코퍼스 음성 감정 인식 성능을 향상시키는가?
• RQ4 통합된 혼합 작업 프레임워크가 다양한 언어 및 화자 도메인에 대해 얼마나 잘 일반화되는가?

주요 결과

• CTL-MTNet는 평가된 네 개의 다국어 SER 데이터셋 전반에서 최신 기술 수준(SOTA) 성능을 달성했으며, 단일 및 크로스코퍼스 설정 모두에서 기존 SOTA 방법을 능가했다.
• 제거 실험(ablation study) 결과, CPAC 모듈이 특히 미세한 감정 신호를 포착하는 데 있어 특징 판별력을 크게 향상시켰음을 확인했다.
• CAAM과 MDD의 조합은 도메인 이동을 효과적으로 줄였으며, 소스 코퍼스에서 알려지지 않은 타겟 코퍼스로의 강건한 일반화를 가능케 했다.
• 시각화 결과, 모델이 특히 크로스코퍼스 상황에서 감정 관련 음성 세그먼트에 주의를 집중하는 것으로 나타났다.
• 다양한 언어에서 일관된 성능 향상을 보이며, 강건한 다국어 감정 표현 학습 능력을 입증했다.
• 전체 프레임워크는 크로스코퍼스 평가에서 뛰어난 정확도와 F1 점수를 기록하여, 공동 학습 전략의 효과성을 입증했다.