[논문 리뷰] Speech Emotion Recognition Via CNN-Transformer and Multidimensional Attention Mechanism

Xiaoyu Tang, Yixin Lin외 3명|arXiv (Cornell University)|2024. 03. 07.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 다차원 주의 메커니즘(Time-Channel-Space)을 갖춘 CNN-Transformer를 제안하여 지역적 및 글로벌 음성 정보를 모델링하고 SER에서 IEMOCAP과 Emo-DB에서 향상된 결과를 보인다.

ABSTRACT

Speech Emotion Recognition (SER) is crucial in human-machine interactions. Mainstream approaches utilize Convolutional Neural Networks or Recurrent Neural Networks to learn local energy feature representations of speech segments from speech information, but struggle with capturing global information such as the duration of energy in speech. Some use Transformers to capture global information, but there is room for improvement in terms of parameter count and performance. Furthermore, existing attention mechanisms focus on spatial or channel dimensions, hindering learning of important temporal information in speech. In this paper, to model local and global information at different levels of granularity in speech and capture temporal, spatial and channel dependencies in speech signals, we propose a Speech Emotion Recognition network based on CNN-Transformer and multi-dimensional attention mechanisms. Specifically, a stack of CNN blocks is dedicated to capturing local information in speech from a time-frequency perspective. In addition, a time-channel-space attention mechanism is used to enhance features across three dimensions. Moreover, we model local and global dependencies of feature sequences using large convolutional kernels with depthwise separable convolutions and lightweight Transformer modules. We evaluate the proposed method on IEMOCAP and Emo-DB datasets and show our approach significantly improves the performance over the state-of-the-art methods.

연구 동기 및 목표

• 전통적인 CNN 또는 RNN 접근법을 넘어 로컬 및 글로벌 음성 정보를 모두 포착하여 SER의 성능 향상을 촉구한다.
• CNN 기반 로컬 특징 추출과 Transformer 기반 글로벌 모델링을 융합하는 프레임워크를 개발한다.
• 시간-채널-공간 주의 메커니즘(T-Sa)을 도입하여 시간, 공간, 채널 전반의 특징을 향상시킨다.
• 로컬 디테일을 보존하면서 긴 범위 의존성을 효율적으로 모델링하기 위한 경량 컨볼루션 트랜스포머(LCT) 블록을 제안한다.
• 벤치마크 SER 데이터셋에서 효과를 입증하고 재현성을 위해 오픈소스 코드를 제공한다.

제안 방법

• 불규칙 합성곱(3x1 및 1x3)과 풀링을 통해 로컬 시-주파수 음성 특징을 추출하는 CNN 블록을 사용한다.
• BiLSTM 기반 타이밍 주의와 Shuffle 기반 공간-채널 주의로 구성된 Time-Channel-Space(T-Sa) 주의 모듈을 도입하여 다차원 특징을 풍부하게 한다.
• 로컬-글로벌 특징 융합을 위해 Large-Kernel Lightweight Convolutions, Coordinate Attention-강화 다중 헤드 어텐션, SE-IBFFN을결합한 LCT(Lightweight Convolution Transformer) 블록을 설계한다.
• LCT에서 로컬 정보에 LLC를 적용하고, Coordinate Attention를 활용한 CA-LMAM으로 장기 의존성을 처리하며, 역전 잔차를 갖는 SE-IBFFN으로 표상을 향상시킨다.
• MFCC 입력을 전처리하고 가변 길이 음성을 1.8초 구간으로 변환하며 문장당 예측을 평균화하여 최종 결정을 내린다.
• mixup(alpha=0.2)으로 학습하고 교차 엔트로피 손실, Adam 옵티마이저를 사용하며 150 에폭, GPU에서 감소 학습률을 사용한다.

실험 결과

연구 질문

• RQ1 CNN 블록과 Transformer 모듈을 결합하면 SER에서 로컬 및 글로벌 음성 특징을 더 잘 포착할 수 있는가?
• RQ2 시간-채널-공간 주의 메커니즘이 시간적 다이나믹스와 공간-채널 의존성을 활용하여 감정 인식을 향상시키는가?
• RQ3 경량 LCT 블록이 표준 Transformer 방식보다 파라미터 수가 적은 상태에서도 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 제안된 프레임워크가 IEMOCAP과 Emo-DB에서 최첨단 방법과 비교하여 어떻게 성능을 보이는가?

주요 결과

• 제안된 프레임워크는 IEMOCAP과 Emo-DB에서 최첨단 방법과 비교하여 SER 성능을 향상시킨다.
• Time-Shuffle Attention(T-Sa) 모듈은 시간 정보, 공간 정보 및 채널 정보를 소수의 파라미터로 향상시킨다.
• 경량 컨볼루션 트랜스포머(LCT)는 매개변수 수를 줄이면서 로컬 및 글로벌 의존성을 효과적으로 포착한다.
• 불규칙 시간-주파수 CNN 블록은 트랜스포머 모듈 이전에 로컬 특징을 효과적으로 예비 학습하여 작은 SER 데이터셋에서 수렴을 돕는다.
• 실험 설정에는 MFCC 특징, 1.8초 구간과 1.6초 중복, mixup 학습 및 표준 최적화 설정이 포함된다.