[논문 리뷰] Evaluation of Error and Correlation-Based Loss Functions For Multitask Learning Dimensional Speech Emotion Recognition

Bagus Tris Atmaja, Masato Akagi|arXiv (Cornell University)|2020. 03. 24.

Emotion and Mood Recognition참고 문헌 16인용 수 43

한 줄 요약

이 논문은 다차원 음성 감정 인식에서 다중 작업 학습에 사용되는 오차 기반(MSE, MAE) 및 상관관계 기반(CCC) 손실 함수를 평가한다. IEMOCAP 및 MSP-IMPROV 두 개의 데이터셋과 GeMAPS, pAA 두 가지 음성 특징 세트를 사용하여, CCC 손실이 모든 시나리오에서 MSE 및 MAE를 일관되게 뛰어넘으며, 정서의 밀도, 자극성, 지배성 차원에서 더 높은 일치 상관계수(CCC) 점수를 기록함을 입증한다. 주요 기여는 상관관계 기반 손실이 전통적인 오차 기반 손실보다 회귀 기반 다차원 감정 인식에 더 적합하다는 경험적 검증이다.

ABSTRACT

The choice of a loss function is a critical part of machine learning. This paper evaluated two different loss functions commonly used in regression-task dimensional speech emotion recognition, an error-based and a correlation-based loss functions. We found that using a correlation-based loss function with a concordance correlation coefficient (CCC) loss resulted in better performance than an error-based loss function with mean squared error (MSE) loss and mean absolute error (MAE), in terms of the averaged CCC score. The results are consistent with two input feature sets and two datasets. The scatter plots of test prediction by those two loss functions also confirmed the results measured by CCC scores.

연구 동기 및 목표

• 다차원 음성 감정 인식에서 다중 작업 학습에 영향을 미치는 다양한 손실 함수(MSE, MAE, CCC)의 영향을 평가하는 것.
• 감정 인식의 회귀 작업에서 상관관계 기반 손실(CCC)이 오차 기반 손실(MSE, MAE)보다 더 효과적인지 여부를 규명하는 것.
• IEMOCAP 및 MSP-IMPROV와 같은 다양한 데이터셋과 GeMAPS, pAA와 같은 음성 특징 세트에서의 성능 일관성을 평가하는 것.
• CCC 손실이 상관계수와 편향을 모두 고려하므로 MSE 및 MAE보다 모델 일반화가 향상된다는 가설을 검증하는 것.

제안 방법

• 연구는 딥 네ural 네트워크를 사용하여 정서의 세 가지 차원인 밀도, 자극성, 지배성(VAD)을 동시에 예측하는 다중 작업 학습 프레임워크를 적용한다.
• 세 가지 손실 함수를 평가한다: 평균 제곱 오차(MSE), 평균 절대 오차(MAE), 일치 상관계수 손실(1 − CCC)이며, 밀도와 자극성의 균형을 맞추기 위해 클래스 가중치를 적용한다.
• 두 개의 데이터셋(IEMOCAP, MSP-IMPROV)을 사용하며, 화자 독립 테스트 분할(LOSO)과 [1,5]에서 [-1,1]로 표준화된 레이블 스케일링을 적용한다.
• 두 가지 고수준 통계적 특징 세트(HSF)를 추출한다: GeMAPS(23개의 LLD)와 pAA(34개의 LLD)에서 각각의 저수준 기술자(Low-Level Descriptors)의 평균과 표준편차만을 사용한다.
• 모델 성능은 세 차원의 평균 CCC를 기준으로 평가하며, 개별 차원 점수 분석 및 시각적 검증을 위한 산점도도 함께 분석한다.
• 모든 실험에서 동일한 신경망 아키텍처와 하이퍼파rameter를 사용하여 손실 함수 간 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 상관관계 기반 손실 함수(CCC)를 사용할 경우, 오차 기반 손실(MSE, MAE)보다 다중 작업 다차원 음성 감정 인식에서 더 뛰어난 성능을 내는가?
• RQ2 CCC 손실의 성능 우월성이 다양한 데이터셋과 음성 특징 세트에서 일관되게 유지되는가?
• RQ3 MSE, MAE, CCC 손실의 예측 분포가 실제 레이블에 비해 일치도와 편향 측면에서 어떻게 다른가?
• RQ4 CCC 손실이 예측 출력의 상관계수와 위치 편향을 동시에 최소화함으로써 모델 일반화를 향상시킬 수 있는가?
• RQ5 일반 목적 특징 세트(pAA)를 사용할 경우, 감정 특화 특징 세트(GeMAPS)와 유사한 성능을 달성할 수 있는가? (CCC 손실 기반)

주요 결과

• GeMAPS 특징을 사용한 IEMOCAP 데이터셋에서 CCC 손실은 평균 CCC 점수 0.400을 기록하여 MSE(0.310) 및 MAE(0.304)를 유의미하게 뛰어넘었다.
• pAA 특징을 사용한 MSP-IMPROV 데이터셋에서는 CCC 손실이 평균 CCC 0.340을 기록하여 MSE(0.305) 및 MAE(0.324)를 초월했다.
• 밀도-자극성 예측의 산점도 분석 결과, CCC 손실의 예측 결과가 Gold-standard 레이블에 더 잘 일치하는 것으로 확인되었다.
• 모든 네 가지 시나리오(2개의 데이터셋 × 2개의 특징 세트)에서 성능 일관성이 관찰되었으며, CCC 손실은 모든 경우에서 오차 기반 손실을 일관되게 능가했다.
• 모든 설정에서 평균 MSE 점수는 거의 동일하여, MSE가 모델 간 차이에 민감하지 않으며 다양한 환경에서 성능 추적에 적합하지 않다는 것을 시사한다.
• CCC 손실을 사용할 경우 감정 특화 설계된 GeMAPS와 일반 목적의 pAA 특징 세트 간 유의미한 성능 격차가 없었으며, 이는 손실 함수가 다양한 특징 유형에 대해 강건함을 시사한다.