[논문 리뷰] Speech Emotion Recognition using Support Vector Machine

Manas Jain, Shruthi Narayan외 5명|arXiv (Cornell University)|2020. 02. 03.

Emotion and Mood RecognitionPsychology참고 문헌 8인용 수 21

한 줄 요약

이 논문은 LDC 및 UGA 데이터베이스의 음성 특징을 기반으로 슬픔, 분노, 공포, 기쁨의 네 가지 감정을 분류하기 위해 서포트 벡터 머신(SVM)을 사용하는 음성 감정 인식 시스템을 제안한다. 두 가지 SVM 전략(One-Against-All 및 성별 기반 분류)을 평가하고 MFCC 및 LPCC 특징을 비교하여, 성별 기반 분류가 OAA보다 높은 정확도를 보이며 높은 정확도를 달성한다.

ABSTRACT

In this project, we aim to classify the speech taken as one of the four emotions namely, sadness, anger, fear and happiness. The samples that have been taken to complete this project are taken from Linguistic Data Consortium (LDC) and UGA database. The important characteristics determined from the samples are energy, pitch, MFCC coefficients, LPCC coefficients and speaker rate. The classifier used to classify these emotional states is Support Vector Machine (SVM) and this is done using two classification strategies: One against All (OAA) and Gender Dependent Classification. Furthermore, a comparative analysis has been conducted between the two and LPCC and MFCC algorithms as well.

연구 동기 및 목표

• 슬픔, 분노, 공포, 기쁨의 네 가지 감정 상태를 분류하기 위해 SVM를 사용한 강건한 음성 감정 인식 시스템을 개발하는 것.
• One-Against-All(OAA) 및 성별 기반 분류와 같은 두 가지 SVM 분류 전략의 성능을 평가하는 것.
• MFCC 및 LPCC 특징이 음성 신호에서 감정적 단서를 어떻게 포착하는지의 효과를 비교하는 것.
• 피치, 에너지, 발화 속도와 같은 발화자 특성의 영향을 감정 분류 정확도에 미치는 영향을 분석하는 것.

제안 방법

• LDC 및 UGA 데이터베이스의 음성 샘플에서 에너지, 피치, MFCC 계수, LPCC 계수, 발화 속도 등의 음성 특징을 추출하였다.
• 네 가지 감정 각각에 대해 별도의 SVM 분류기를 훈련하기 위해 One-Against-All(OAA) 전략을 사용하였다.
• 성별 기반 분류 접근 방식을 구현하여 남성 및 여성 발화자에 대해 별도의 SVM 모델을 훈련시켜 분류 정확도를 향상시켰다.
• 특징 벡터를 정규화하고, 반경 기반 함수(RBF) 커널을 사용하여 SVM 분류기를 훈련시켰다.
• 정확도, 정밀도, 재현율과 같은 표준 지표를 사용하여 두 분류 전략의 성능을 평가하였다.
• 감정 인식에 기여하는 특징의 상대적 기여도를 평가하기 위해 MFCC 및 LPCC 특징 간 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 One-Against-All SVM 전략은 음성 신호에서 네 가지 감정 상태를 분류하는 데 얼마나 효과적인가?
• RQ2 일반적인 OAA 접근 방식에 비해 성별 기반 분류는 감정 인식 정확도를 향상시키는가?
• RQ3 MFCC 및 LPCC 특징은 음성에서 감정적 내용을 표현하는 데 어떤 정도의 능력을 보이는가?
• RQ4 에너지, 피치, 발화 속도가 감정 분류 모델의 분류 능력에 얼마나 기여하는가?

주요 결과

• 성별 기반 분류 전략이 One-Against-All(OAA) 전략보다 높은 총합 정확도를 달성하였다.
• 일부 감정 범주에서 LPCC 특징이 MFCC 특징과 유사하거나 略적으로 더 높은 성능을 보였다.
• 피치, 에너지, 발화 속도의 조합이 SVM 모델의 분류 능력을 상당히 향상시켰다.
• 성별 기반 설정에서 RBF 커널을 사용한 SVM 분류기는 모든 감정 클래스에서 평균 정확도가 85% 이상을 기록하였다.
• 기쁨과 분노에 대한 감정 분류 성능은 뚜렷이 높았고, 공포와 슬픔에 대해서는 낮았지만 여전히 의미 있는 인식률을 보였다.
• 연구는 발화자 특화 모델링이 다양한 음성 특성에서 감정 인식을 향상시킨다는 것을 확인한다.