[논문 리뷰] MSAC: Multiple Speech Attribute Control Method for Reliable Speech Emotion Recognition

Yu Pan, Yang, Yuguang외 7명|arXiv (Cornell University)|2023. 08. 08.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 다중 음성 속성—예를 들어 화자, 성별, 언어—을 추가 마진 소프트맥스 손실을 통해 명시적으로 제어함으로써 모델의 강건성 향상을 위한 새로운 CNN 기반 음성 정서 인식(SER) 프레임워크인 MSAC을 제안한다. 정서에 영향을 주지 않는 특징을 분리함으로써 MSAC는 IEMOCAP에서 72.97%의 가중 정확도와 71.76%의 비가중 정확도로 최신 기준 성능을 달성하며, 분포 외 검출을 통해 신뢰성도 크게 향상시킨다.

ABSTRACT

Despite notable progress, speech emotion recognition (SER) remains challenging due to the intricate and ambiguous nature of speech emotion, particularly in wild world. While current studies primarily focus on recognition and generalization abilities, our research pioneers an investigation into the reliability of SER methods in the presence of semantic data shifts and explores how to exert fine-grained control over various attributes inherent in speech signals to enhance speech emotion modeling. In this paper, we first introduce MSAC-SERNet, a novel unified SER framework capable of simultaneously handling both single-corpus and cross-corpus SER. Specifically, concentrating exclusively on the speech emotion attribute, a novel CNN-based SER model is presented to extract discriminative emotional representations, guided by additive margin softmax loss. Considering information overlap between various speech attributes, we propose a novel learning paradigm based on correlations of different speech attributes, termed Multiple Speech Attribute Control (MSAC), which empowers the proposed SER model to simultaneously capture fine-grained emotion-related features while mitigating the negative impact of emotion-agnostic representations. Furthermore, we make a first attempt to examine the reliability of the MSAC-SERNet framework using out-of-distribution detection methods. Experiments on both single-corpus and cross-corpus SER scenarios indicate that MSAC-SERNet not only consistently outperforms the baseline in all aspects, but achieves superior performance compared to state-of-the-art SER approaches.

연구 동기 및 목표

• 분포 이탈 상황에서의 정확도 평가가 부족한 음성 정서 인식(SER) 시스템을 보완하기 위해.
• 화자, 성별, 언어 등의 다수의 음성 속성에 걸쳐 데이터 분포를 명시적으로 제어하여 음성 정서를 모델링하기 위해.
• 단일 및 크로스 코퍼스 설정 모두에서 성능을 향상시키는 통합 SER 워크플로우를 개발하기 위해.
• 분포 외(OOD) 검출을 활용하여 SER 모델의 신뢰성 평가를 위한 새로운 방법을 선도하기 위해.
• 정서와 관련 없는 특징의 간섭을 줄이면서도 정서 관련 표현을 유지하기 위해.

제안 방법

• 정서 카테고리 간 유사도를 감소시키고 내부 유사도를 줄이기 위해 추가 마진 소프트맥스(AM-Softmax) 손실을 사용하여 CNN 기반 SER 모델을 엔드 투 엔드로 훈련한다.
• MSAC 방법은 훈련 중에 분리된 표현을 학습함으로써 화자, 성별, 언어 등의 다수의 음성 속성을 명시적으로 제어한다.
• Fbank 입력으로부터 다중 척도의 시간적 및 스펙트럼적 특징을 추출하기 위해 다양한 커널 크기를 가진 세 개의 컨볼루션 스트림을 사용한다.
• 시간 차원을 기준으로 통계적 풀링(평균 및 표준편차)을 적용하여 변동성과 에너지를 캡처함으로써 정서 민감도가 높은 표현을 향상시킨다.
• 배치 정규화와 LeakyReLU를 포함한 두 블록의 완전 연결 투사 헤드를 사용하여 분류 이전에 최종 임bedding을 정밀하게 보정한다.
• 분포 이탈 상황에서의 모델 신뢰성 평가를 위해 최신 기법인 MaxLogit을 사용하여 분포 외(OOD) 검출을 평가한다.

실험 결과

연구 질문

• RQ1 실제 환경에서의 야생 환경, 특히 분포 이탈 상황에서 음성 정서 인식 모델의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ2 다양한 음성 속성에 대한 명시적 제어가 얼마나 SER 성능과 강건성 향상에 기여하는가?
• RQ3 통합 SER 워크플로우가 단일 및 크로스 코퍼스 설정 모두에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 제안된 MSAC 방법은 OOD 일반화 및 신뢰성 측면에서 기존의 도메인 적응 또는 데이터 증강 전략과 비교해 어떻게 다른가?
• RQ5 정서에 영향을 주지 않는 속성(예: 화자, 성별)을 제어함으로써 정서 관련 특징의 분리가 더 잘 이루어지는가?

주요 결과

• IEMOCAP 코퍼스에서 제안된 MSAC 기반 SER 모델은 가중 정확도 72.97%와 비가중 정확도 71.76%를 달성하여 베이스라인을 초월한다.
• 단일 코퍼스 SER에서 제안된 방법은 베이스라인 대비 WAR와 UAR를 각각 4.57%, 3.34% 향상시켰다.
• 크로스 코퍼스 SER에서 모델은 내부 분포 데이터에서 WAR 44.64%, UAR 44.42%를 기록했으며, 분포 외 데이터에서는 WAR/UAR가 54.25%를 기록했다.
• MSAC 방법은 베이스라인 대비 FPR95를 27.40% 감소시키고 AUROC를 13.22% 향상시켜 우수한 신뢰성 임베딩을 입증했다.
• 모든 지표에서 ADA 기반 접근법 [gat2022speaker]를 초월하였으며, OOD 일반화에서 평균 WAR가 2.85% 향상되었다.
• G_{ML} 전략과 조합할 경우 MSAC는 OOD 일반화에서 WAR/UAR가 0.8% 향상되어 상호보완적 이점을 보였다.