[논문 리뷰] Multi-Window Data Augmentation Approach for Speech Emotion Recognition

Sarala Padi, Dinesh Manocha외 1명|arXiv (Cornell University)|2020. 10. 19.

Emotion and Mood Recognition참고 문헌 39인용 수 5

한 줄 요약

이 논문은 음성 정서 인식(SER)을 위한 다중 윈도우 데이터 증강(MWA-SER) 방법을 제안하며, 훈련 중에 다수의 윈도우 크기를 사용하여 음성 특징을 추출함으로써 모델의 일반화 능력을 향상시킨다. 다중 척도 윈도잉을 통해 추가적인 훈련 샘플을 생성함으로써, IEMOCAP, SAVEE, RAVDESS 데이터셋 전반에서 성능 향상을 이룩하였으며, 단일 윈도우 기반 모델 대비 SAVEE에서 최대 14%의 정확도 향상과 IEMOCAP에서 6%의 향상을 기록하였다.

ABSTRACT

We present a Multi-Window Data Augmentation (MWA-SER) approach for speech emotion recognition. MWA-SER is a unimodal approach that focuses on two key concepts; designing the speech augmentation method and building the deep learning model to recognize the underlying emotion of an audio signal. Our proposed multi-window augmentation approach generates additional data samples from the speech signal by employing multiple window sizes in the audio feature extraction process. We show that our augmentation method, combined with a deep learning model, improves speech emotion recognition performance. We evaluate the performance of our approach on three benchmark datasets: IEMOCAP, SAVEE, and RAVDESS. We show that the multi-window model improves the SER performance and outperforms a single-window model. The notion of finding the best window size is an essential step in audio feature extraction. We perform extensive experimental evaluations to find the best window choice and explore the windowing effect for SER analysis.

연구 동기 및 목표

• 제한된 훈련 데이터로 인해 딥 러닝 모델이 음성 정서 인식(SER)에서 과적합되는 문제를 해결하기 위해.
• 윈도우 크기 선택이 음성 특징 추출 및 SER 성능에 미치는 영향을 조사하기 위해.
• 복잡한 생성 모델에 의존하지 않고 다양한 정보를 담은 훈련 샘플을 생성하는 데이터 증강 전략을 개발하기 위해.
• 일致한 실험 설정 하에 IEMOCAP, SAVEE, RAVDESS 등의 다수 기준 데이터셋에서 제안된 방법을 평가하기 위해.
• 다양한 데이터셋과 정서 유형에 걸쳐 향상된 정서 인식을 위한 최적의 윈도우 크기 조합을 규명하기 위해.

제안 방법

• 이 방법은 음성 특징 추출에 다중 윈도우 기반 접근을 사용하며, 25ms, 50ms, 100ms, 200ms의 윈도우 크기를 사용하여 다중 시간 척도에서 특징을 생성한다.
• 각 윈도우 크기마다 별도의 특징 집합을 생성함으로써, 사용된 윈도우 수와 동일한 배수로 훈련 샘플 수를 효과적으로 증가시킨다.
• 1D 컨volutional 신경망(CNN)을 사용하여 증강된 특징 집합을 훈련시켜 음성 신호의 정서를 분류한다.
• 이 방법은 일致한 모델 아키텍처와 훈련 프로토콜을 사용하여 IEMOCAP, SAVEE, RAVDESS 세 가지 기준 데이터셋에 적용된다.
• 이 방법은 GAN이나 복잡한 신호 변환에 의존하지 않으며, 대신 윈도잉을 통한 내재적 신호 변동에 초점을 맞춘다.
• 다양한 조합(예: 3윈도우, 4윈도우)에 대해 윈도잉 전략을 평가하여 각 데이터셋에 최적의 구성 요건을 규명한다.

실험 결과

연구 질문

• RQ1 다중 윈도우 데이터 증강은 단일 윈도우 특징 추출 대비 정서 인식 성능에서 어떻게 비교되는가?
• RQ2 다양한 데이터셋에서 정서 인식 정확도를 극대화하기 위한 최적의 윈도우 크기 조합은 무엇인가?
• RQ3 윈도잉 효과는 정서 인식에서 추출된 특징의 분류 능력에 어떻게 영향을 미치는가?
• RQ4 어떤 정서 유형(예: 'happy' 또는 'excited')이 특히 높은 오분류율을 보이는 이유는 무엇이며, 다중 윈도잉은 이에 어떻게 영향을 미치는가?
• RQ5 다중 윈도우 증강은 신호 지속 시간과 정서 분포가 상이한 다양한 데이터셋에 일반화 가능한가?

주요 결과

• IEMOCAP 데이터셋에서 다중 윈도우 모델은 단일 윈도우 기반 모델 대비 정확도 6%, WAP 9%, WAF1 7% 향상되었다.
• SAVEE 데이터셋에서 다중 윈도우 접근 방식은 정확도 14%, WAP 7%, WAF1 12% 향상되었으며, 이는 이 데이터셋에서 강력한 성능 향상을 의미한다.
• RAVDESS 데이터셋에서 다중 윈도우 모델은 정확도, WAP, WAF1 각각 2% 향상되었으며, IEMOCAP 및 SAVEE에 비해 일관되지만 더 미묘한 향상을 보였다.
• 'happy'와 'excited' 유형은 IEMOCAP에서 특히 'neutral'과 혼동되는 경향이 있었으며, 이는 짧은 지속 시간과 겹치는 말투 특성 때문이었다.
• 'sad'와 'neutral' 유형은 세 데이터셋 전반에서 높은 혼동률을 보였으며, 이는 프로소디 및 스펙트럼 특징에서 본질적인 유사성 때문이었다.
• 최적의 윈도우 크기 조합은 각 데이터셋에 따라 달라졌다: IEMOCAP(Exp 1)는 50, 100, 200ms, IEMOCAP(Exp 2)는 25, 50, 100ms, SAVEE는 100 및 200ms, RAVDESS는 25, 50, 100, 200ms였다.