[논문 리뷰] Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech

Gabrielle Kaili-May Liu|arXiv (Cornell University)|2018. 06. 23.

Speech and Audio Processing참고 문헌 9인용 수 34

한 줄 요약

이 논문은 전통적인 멜 주파수 해상도 인자 계수(MFCCs)에 비해 감정 및 강도 인식에 더 우수한 음성 표현으로 감마톤 주파수 해상도 인자 계수(GFCCs)를 평가한다. RAVDESS 데이터셋을 사용하여 완전 연결, LSTM, 어텐션 기반 LSTM 네트워크를 적용한 결과, GFCCs는 모든 아키텍처에서 MFCCs를 일관되게 능가했으며, 평균 3.6%의 정확도 향상을 기록했다. 이는 GFCCs가 감정 인식 작업에서 인간 청각 인지 모델링에 더 적합하다는 것을 시사한다.

ABSTRACT

Current approaches to speech emotion recognition focus on speech features that can capture the emotional content of a speech signal. Mel Frequency Cepstral Coefficients (MFCCs) are one of the most commonly used representations for audio speech recognition and classification. This paper proposes Gammatone Frequency Cepstral Coefficients (GFCCs) as a potentially better representation of speech signals for emotion recognition. The effectiveness of MFCC and GFCC representations are compared and evaluated over emotion and intensity classification tasks with fully connected and recurrent neural network architectures. The results provide evidence that GFCCs outperform MFCCs in speech emotion recognition.

연구 동기 및 목표

• 감마톤 주파수 해상도 인자 계수(GFCCs)가 감정 인식에 있어 전통적인 멜 주파수 해상도 인자 계수(MFCCs)보다 더 나은 음성 신호 표현을 제공하는지 조사하기.
• 완전 연결 네트워크, LSTM, 어텐션 기반 LSTM을 포함한 다양한 신경망 아키텍처에서 GFCCs와 MFCCs의 성능을 평가하기.
• 감정 분류(8개 클래스) 및 강도 분류(2개 클래스) 작업에서 GFCCs와 MFCCs의 효과성을 비교하기.
• GFCCs의 고막 기계 모델링에 기반한 생물학적 타당성이 감정 인식 시스템의 성능 향상으로 이어지는지 판단하기.

제안 방법

• 표준화된 파이프라인을 사용하여 음성 신호에서 GFCC 및 MFCC 표현을 추출: 전압 강하, 프레임 분할, 히팅 윈도우 적용, FFT, 필터 백 적용(Gammatone 또는 Mel), 로그 압축, DCT 수행.
• 각 MFCC 및 GFCC 벡터에 대해 타겟 프레임 기준 ±9 프레임(총 19프레임)의 컨텍스트 기반 표현을 연결하여 프레임당 39차원 특징 벡터 생성.
• ReLU 또는 시그모이드 활성화 함수, 20% 드롭아웃, 배치 정규화를 적용한 완전 연결 신경망(FCNN)을 각 은닉층에 대해 훈련.
• tanh 활성화 함수, 드롭아웃 없음, 일관된 입력 길이 확보를 위해 시퀀스 패딩을 820프레임으로 설정한 LSTM 및 어텐션 기반 LSTM 모델 훈련.
• 과적합 방지를 위해 조기 정지 기법을 사용하였으며, 15에포크 동안 검증 정확도 향상이 없을 경우 정지하고, 최소 향상 기준은 0.0005로 설정.
• RAVDESS 데이터셋을 75% 훈련, 25% 테스트로 분할하였으며 감정 및 강도 클래스 간 균형을 유지하였고, 모든 입력을 평균 제거 및 단위 분산 스케일링으로 정규화.

실험 결과

연구 질문

• RQ1 다양한 신경망 아키텍처에서 GFCCs가 MFCCs보다 감정 인식 정확도를 높이는가?
• RQ2 강도 분류(감정의 더 미묘한 차원)에서 GFCCs와 MFCCs의 성능는 어떻게 비교되는가?
• RQ3 GFCCs의 생물학적 타당성 — 고막 운동 모델링 — 이 감정 인식에서 측정 가능한 성능 향상으로 이어지는가?
• RQ4 어텐션 메커니즘은 순차적 모델링 과제에서 GFCCs와 MFCCs 간의 성능 격차를 더욱 확대시킬 수 있는가?

주요 결과

• 모든 신경망 아키텍처에서 GFCCs가 MFCCs를 감정 분류 과제에서 능가했으며, 평균 정확도 향상은 3.6%였다.
• 감정 분류에서 GFCC 기반 모델은 L(400)/A LSTM 모델로 최고 테스트 정확도 0.768을 기록했고, 해당 MFCC 모델은 0.749를 기록했다.
• 강도 분류 과제에서 GFCCs는 일관된 성능 향상을 보였으며, 최고 성능 모델(L(100)/A)은 정확도 0.798을 기록했고, MFCC 대응 모델은 0.777을 기록했다.
• 완전 연결, LSTM, 어텐션 기반 LSTM을 포함한 모든 네트워크 유형에서 성능 향상이 관찰되어 GFCCs가 강력한 특징 표현임을 입증했다.
• 깊이 있는 아키텍처에서 성능 향상이 가장 두드러졌으며, 이는 GFCCs가 감정 음성의 계층적 시간 패턴을 더 잘 포착함을 시사한다.
• 결과는 GFCCs가 고막 기계 모델링을 통해 인간 청각 인지와 더 잘 일치하기 때문에 감정 인식 과제에서 뛰어난 성능을 내는 데 기여한다는 가설을 지지한다.