[논문 리뷰] Speech Emotion Recognition with Data Augmentation and Layer-wise Learning Rate Adjustment.

Caroline Etienne, Guillaume Fidanza외 3명|arXiv (Cornell University)|2018. 02. 15.

Speech and Audio Processing참고 문헌 18인용 수 16

한 줄 요약

이 논문은 원시 스펙트로그램을 사용하여 음성 정서 인식을 위한 딥 러닝 모델을 제안하며, 데이터 증강, 계층별 학습률 조정, 배치 정규화를 통합한 컨볼루션 및 순환층을 조합한다. 이 모델은 IEMOCAP 데이터셋에서 64.5%의 가중 정확도와 61.7%의 비가중 정확도를 기록하며, 모델 성능과 레이블링 신뢰도 사이에 강한 상관관계를 드러낸다.

ABSTRACT

In this work, we design a neural network for recognizing emotions in speech, using the standard IEMOCAP dataset. Following the latest advances in audio analysis, we use an architecture involving both convolutional layers, for extracting high-level features from raw spectrograms, and recurrent ones for aggregating long-term dependencies. Applying techniques of data augmentation, layer-wise learning rate adjustment and batch normalization, we obtain highly competitive results, with 64.5% weighted accuracy and 61.7% unweighted accuracy on four emotions. Moreover, we show that the model performance is strongly correlated with the labeling confidence, which highlights a fundamental difficulty in emotion recognition.

연구 동기 및 목표

• IEMOCAP 데이터셋에서 딥 네트워크를 활용한 음성 정서 인식 성능 향상.
• 저자원 정서 인식 환경에서 데이터 증강이 모델 일반화에 미치는 영향 탐구.
• 더 나은 수렴을 위해 계층별 학습률 조정을 통한 학습 동역학 최적화.
• 모델 예측 신뢰도와 정서 인식 성능 간의 관계 분석.

제안 방법

• 모델는 원시 스펙트로그램에서 고차원 특징을 추출하기 위한 컨볼루션 계층과 장기적인 시간적 의존성을 포착하기 위한 순환 계층을 조합한 하이브리드 아키텍처를 사용한다.
• 데이터 증강은 훈련 데이터의 다양성을 증가시키고 음성 신호의 변동성에 대한 강건성을 향상시키기 위해 적용된다.
• 계층별 학습률 조정은 서로 다른 학습률을 사용하여 네트워크의 각 계층을 정밀하게 튜닝함으로써 학습 안정성과 수렴 성능를 향상시킨다.
• 배치 정규화는 계층 입력을 정규화하여 학습 과정을 안정화하고 가속화한다.
• 모델는 네 가지 정서 클래스를 포함하는 표준 IEMOCAP 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 데이터 증강은 음성 정서 인식에서 딥 러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ2 계층별 학습률 조정은 학습 효율성과 모델 정확도 향상에 어느 정도 기여하는가?
• RQ3 예측 신뢰도와 실제 정서 인식 성능 간의 관계는 어떠한가?
• RQ4 하이브리드 CNN-RNN 아키텍처는 정서 인식을 위한 음성 신호의 국소적 패턴과 장기적 패턴을 효과적으로 포착할 수 있는가?

주요 결과

• 모델는 네 가지 정서 클래스에 대해 IEMOCAP 데이터셋에서 가중 정확도 64.5%와 비가중 정확도 61.7%를 달 đạt한다.
• 데이터 증강은 다양한 음성 샘플 간의 모델 강건성과 일반화 능력을 크게 향상시킨다.
• 계층별 학습률 조정은 특히 더 깊은 네트워크 계층에서 더 안정적이고 효과적인 학습을 기여한다.
• 모델의 예측 신뢰도와 실제 성능 간에 강한 상관관계가 관찰되어 고신뢰도 예측이 더 신뢰할 만한 것으로 나타났다.