[논문 리뷰] Focal Loss based Residual Convolutional Neural Network for Speech Emotion Recognition

Suraj Tripathi, Abhay Kumar외 3명|arXiv (Cornell University)|2019. 06. 11.

Speech and Audio Processing참고 문헌 23인용 수 14

한 줄 요약

이 논문은 음성 정서 인식을 위한 포칼 손실 최적화된 잔차 합성곱 신경망(ResNet)을 제안하며, 스펙트로그램과 MFCC를 입력 특징으로 사용하여 잘못 분류된 어려운 정서 인스턴스의 분류를 향상시킵니다. 이 방법은 어려운 예측 예측에 집중함으로써 쉽게 분류 가능한 샘플의 지배를 줄이며, IEMOCAP 데이터셋에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

This paper proposes a Residual Convolutional Neural Network (ResNet) based on speech features and trained under Focal Loss to recognize emotion in speech. Speech features such as Spectrogram and Mel-frequency Cepstral Coefficients (MFCCs) have shown the ability to characterize emotion better than just plain text. Further Focal Loss, first used in One-Stage Object Detectors, has shown the ability to focus the training process more towards hard-examples and down-weight the loss assigned to well-classified examples, thus preventing the model from being overwhelmed by easily classifiable examples.

연구 동기 및 목표

• 음성 정서 인식에서 쉽게 분류 가능한 정서 클래스가 학습을 지배하는 클래스 불균형 문제를 해결하기 위해.
• 어려운 정서 인스턴스에 대한 학습 집중을 통해 모델 일반화 능력을 향상시키기 위해.
• 원래 객체 검출에서 사용된 포칼 손실을 깊이 있는 잔차 CNN 아키텍처에 통합하기 위해.
• 스펙트로그램과 MFCC 특징을 사용한 포칼 손실의 효과를 평가하여 분류 정확도 향상 여부를 확인하기 위해.
• 음성 정서 인식의 IEMOCAP 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 음성 스펙트로그램과 MFCC에서 계층적인 공간적 및 시간적 특징을 추출하기 위해 잔차 합성곱 신경망(ResNet) 아키텍처를 사용합니다.
• 포칼 손실은 학습 목적으로 사용되며, 잘 분류된 예측의 기여도를 낮추고 역전파 중 어려운 예측에 초점을 맞춥니다.
• 포칼 손실 함수는 다음과 같이 정의됩니다: $ FL(p_t) = -α(1-p_t)^\u03b3 \log(p_t) $, 여기서 $ p_t $ 는 모델이 진짜 클래스에 대해 예측한 확률이며, $ \alpha $ 는 균형 인자이고, $ \gamma $ 는 집중 메커니즘을 제어합니다.
• 입력 특징은 사전 처리된 스펙트로그램과 MFCC이며, 이는 말의 청각적으로 관련된 정서적 단서를 잘 포착한다고 알려져 있습니다.
• 스펙트로그램과 MFCC를 사용하여 깊이 있는 신경망을 엔드 투 엔드로 훈련시키며, 포칼 손실을 최적화하여 미묘하거나 모호한 정서 상태의 구분 능력을 향상시킵니다.
• 잔차 블록을 사용하여 기울기 소실 문제를 완화하고 더 깊은 네트워크 훈련을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 포칼 손실이 어려운 예측에 집중함으로써 딥 CNN의 음성 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 ResNet 아키텍처에 포칼 손실을 통합할 경우 불균형한 음성 정서 데이터셋에서 분류 정확도에 어떤 영향을 미치는가?
• RQ3 스펙트로그램과 MFCC를 입력 특징으로 사용할 경우 포칼 손실과 조합했을 때 모델 성능 향상이 이루어지는가?
• RQ4 IEMOCAP 데이터셋에서 표준 크로스 엔트로피 손실과 비교했을 때 제안된 방법의 F1 점수와 정확도는 어떻게 되는가?
• RQ5 포칼 손실이 쉽게 분류 가능한 정서 클래스에 대한 모델의 편향을 어느 정도 줄이는가?

주요 결과

• 제안된 포칼 손실 기반 ResNet은 IEMOCAP 데이터셋에서 표준 크로스 엔트로피 학습에 비해 F1 점수에서 뚜렷한 향상을 보였다.
• 모델은 종종 표준 학습에서 잘못 분류되는 미묘하거나 모호한 정서 클래스를 더 잘 인식하는 데 뛰어난 성능을 보였다.
• 포칼 손실은 쉽게 분류 가능한 예측에 대한 모델의 주의를 줄여 정서 카테고리 간 균형 잡힌 학습을 이끌어냈다.
• 스펙트로그램과 MFCC 특징을 포칼 손실과 조합하면 단일 특징 유형을 사용한 경우보다 더 높은 정확도를 달성했다.
• 이 방법은 IEMOCAP 벤치마크에서 이전의 크로스 엔트로피 손실을 사용한 방법들을 능가하는 최신 기술 수준의 성능을 달성했다.
• 제거 실험을 통해 포칼 손실 메커니즘이 어려운 예측에 대한 일반화 능력 향상에 뚜렷한 기여를 했다는 것이 확인되었다.