[논문 리뷰] How Attention Shapes Emotion: A Comparative Study of Attention Mechanisms for Speech Emotion Recognition

Marc Casals-Salvador, Federico Costa외 2명|arXiv (Cornell University)|2026. 03. 16.

Emotion and Mood Recognition인용 수 0

한 줄 요약

이 논문은 MSP-Podcast에서 표준 자기 주의(attention)와 비교하여 효율적인 주의 기법(RetNet, LightNet, GSA, FoX, KDA)을 벤치마킹하고 정확도와 효율성 간의 절충을 평가한다.

ABSTRACT

Speech Emotion Recognition (SER) plays a key role in advancing human-computer interaction. Attention mechanisms have become the dominant approach for modeling emotional speech due to their ability to capture long-range dependencies and emphasize salient information. However, standard self-attention suffers from quadratic computational and memory complexity, limiting its scalability. In this work, we present a systematic benchmark of optimized attention mechanisms for SER, including RetNet, LightNet, GSA, FoX, and KDA. Experiments on both MSP-Podcast benchmark versions show that while standard self-attention achieves the strongest recognition performance across test sets, efficient attention variants dramatically improve scalability, reducing inference latency and memory usage by up to an order of magnitude. These results highlight a critical trade-off between accuracy and efficiency, providing practical insights for designing scalable SER systems.

연구 동기 및 목표

• 다양한 seq2seq 주의 메커니즘이 SER 성능과 확장성에 미치는 영향을 평가한다.
• 일관된 설정에서 표준 자기 주의에 대해 최첨단 효율적 주의 변형을 벤치마크한다.
• MSP-Podcast 버전 전반에 걸친 메모리, 학습/추론 시간, 강건성을 분석한다.

제안 방법

• 고정 피처 추출기를 통해 음성과 텍스트를 처리하고, 서로 다른 주의 메커니즘이 결합된 seq2seq 모듈을 통해 융합한다.
• 동일한 아키텍처와 데이터셋에서 Softmax Attention (SA)과 RetNet, LightNet, GSA, FoX, 그리고 KDA를 비교한다.
• 여러 SSL 백본에 걸쳐 Development(Dev), Test1(T1), Test2(T2)에서 Macro F-score를 측정한다.
• 추론 지연 시간과 최대 GPU 메모리를 평가하여 효율성을 정량화한다.
• 피처 추출기를 고정하고 seq2seq, 주의 풀링, 분류기만 학습한다.
• 효율성 결과 평가를 위해 20 에포크, AdamW 최적화, 1x 배치 크기를 사용한다.

Figure 1: System's architecture. Experiments are made considering different attention mechanisms for the seq2seq module.

실험 결과

연구 질문

• RQ1 각 주의 메커니즘이 MSP-Podcast에서 SER 정확도와 계산 효율성 사이의 최적의 절충을 제공하는가?
• RQ2 시퀀스 길이가 증가함에 따라 추론 지연 시간과 메모리 사용 측면에서 효율적 주의 변형은 SA와 어떻게 비교되는가?
• RQ3 MSP-Podcast의 Test1 및 Test2 조건에서 각 메커니즘의 강건성은 어떤가?
• RQ4 SSL 백본의 선택이 각 주의 메커니즘의 상대적 성능에 어떤 영향을 미치는가?

주요 결과

• SA는 효율적 변형들이 더 나은 확장성을 제공하더라도 평가 분할(Test1/Test2)에서 전반적으로 가장 강한 일반화를 보인다.
• LightNet이 전반적으로 가장 높은 평균 개발 점수(Dev)를 달성했으며, 단일 최강 성과로 38.11%를 기록했다(Wav2Vec2XLSR 사용).
• 효율적 메커니즘은 시퀀스 길이에 따라 추론 시간과 메모리를 선형적으로 증가시키는 반면, SA는 이차적으로 증가한다(10초에서 0.55 ms vs 400초에서 48.59 ms).
• KDA는 긴 시퀀스에서 효율적 메커니즘 중 가장 빠르다(400 s에서 5.96 ms), FoX는 가장 메모리 효율적이다(400 s에서 0.328 GB).
• 모든 방법은 Test1에서 Test2로의 성능 저하를 보이며, 더욱 현실적이고 불균형한 조건에서 강건성의 차이를 나타낸다.
• 효율적 아키텍처는 SA의 정확도에 근접하면서도 지연시간과 메모리 사용에서 상당한 개선을 제공할 수 있다.

Figure 2: Inference time and peak GPU memory usage of the seq2seq module as a function of sequence length on the MSP-Podcast dev set [ 8003425 ] . Panels (a–b) report results for all models. Panels (c–d) provide a zoomed view excluding SA to make the relative growth trends of the remaining alternati