[논문 리뷰] SEGAA: A Unified Approach to Predicting Age, Gender, and Emotion in Speech

Raluca Anca Corb Aron, Indra Sigicharla외 5명|arXiv (Cornell University)|2024. 03. 01.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 음성에서 나이, 성별, 정서를 동시에 예측하는 통합 아키텍처를 사용하는 다중 출력 딥러닝 모델인 SEGAA를 제안한다. 공유된 특징 추출기와 작업별 헤드를 활용하여 변수 간 상호의존성을 효율적으로 모델링하고, 순차적 및 개별 모델 대비 런타임 효율성과 오류 안정성에서 뛰어난 성능을 달성한다. 성능은 성별 검출에서 99%의 정확도를 기록한다.

ABSTRACT

The interpretation of human voices holds importance across various applications. This study ventures into predicting age, gender, and emotion from vocal cues, a field with vast applications. Voice analysis tech advancements span domains, from improving customer interactions to enhancing healthcare and retail experiences. Discerning emotions aids mental health, while age and gender detection are vital in various contexts. Exploring deep learning models for these predictions involves comparing single, multi-output, and sequential models highlighted in this paper. Sourcing suitable data posed challenges, resulting in the amalgamation of the CREMA-D and EMO-DB datasets. Prior work showed promise in individual predictions, but limited research considered all three variables simultaneously. This paper identifies flaws in an individual model approach and advocates for our novel multi-output learning architecture Speech-based Emotion Gender and Age Analysis (SEGAA) model. The experiments suggest that Multi-output models perform comparably to individual models, efficiently capturing the intricate relationships between variables and speech inputs, all while achieving improved runtime.

연구 동기 및 목표

• 단일 통합 모델을 사용하여 음성에서 나이, 성별, 정서를 공동 예측하는 데 있어 발생하는 격차를 해소하기 위해.
• 순차적 모델이 단계 간 오류를 전파하는 한계를 극복하기 위해 다중 출력 아키텍처를 도입하기 위해.
• 공유된 표현에서 나이, 성별, 정서 간 상호의존성을 모델링하여 효율성과 예측 성능을 향상시키기 위해.
• 다중 출력 학습이 개별 모델 성능을 따라하거나 초월하면서도 계산 오버헤드를 줄일 수 있음을 입증하기 위해.
• 헬스케어, 커스터머 서비스, 정신 건강 모니터링 분야의 실생활 응용을 위한 견고하고 확장 가능한 프레임워크를 구축하기 위해.

제안 방법

• SEGAA 모델은 원시 음성 입력으로부터 공유된 음성 표현을 추출하기 위해 공유된 합성곱 신경망(CNN) 기반 아키텍처를 사용한다.
• 공유된 특징 추출기에 세 개의 별도한 작업 전용 헤드가 연결된다: 나이 회귀용, 성별 분류용, 정서 분류용.
• 모델은 나이에 대해 평균 제곱오차(MSE), 성별에 대해 다중 분류 교차엔트로피, 정서에 대해 교차엔트로피를 조합한 다중 작업 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 특히 다중 출력 설정에서 수렴성과 일반화 성능을 향상시키기 위해 Nadam 최적화기를 사용한다.
• 훈련 데이터는 CREMA-D와 EMO-DB 데이터셋을 통합하여 구성되며, 모든 세 가지 레이블(나이, 성별, 정서)이 포함되어 있다.
• 모델 성능 평가는 정확도, 정밀도, 재현율, F1 점수를 바탕으로 모든 세 가지 작업에서 평가되며, 오류 패턴 분석을 위해 혼동 행렬이 사용된다.

Figure 1: Workflow Diagram

실험 결과

연구 질문

• RQ1 통합 다중 출력 딥러닝 모델이 나이, 성별, 정서 예측에서 개별 모델과 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ2 예를 들어 정서 → 성별 → 나이 순서로 진행되는 순차적 모델에서 오류 전파가 공동 예측 대비 전체 예측 정확도에 어떤 영향을 미치는가?
• RQ3 나이, 성별, 정서 간 상호의존성을 공동으로 모델링할 경우 성능 향상에 어느 정도 기여하는가?
• RQ4 개별 모델이나 순차적 모델 대비 제안된 다중 출력 아키텍처는 높은 효율성과 낮은 지연 시간을 유지하는가?
• RQ5 특히 60대와 70대와 같이 표현이 부족한 민족·연령 집단에서 모델 성능은 어떠한가?

주요 결과

• 다중 출력 SEGAA 모델은 성별 검출에서 99%의 정확도를 기록하여 개별 모델을 초월하며 강력한 일반화 성능을 보였다.
• 정서 예측에서는 96%의 정확도를 기록했으며, 클래스 불균형으로 인해 '중립' 및 '불안/공포' 클래스에서 다소 낮은 성능을 보였다.
• 나이 예측에서도 높은 성능를 유지했지만, 60대와 70대에서 데이터 부족으로 인해 정확도가 다소 낮아졌다.
• 예를 들어 정서 → 성별 → 나이 순서로 진행되는 순차적 모델과 비교해 다중 출력 SEGAA 모델은 오류 전파가 현저히 낮고 전체 F1 점수에서 더 우수한 성능을 보였다.
• 개별 모델의 정확도에서 약간의 슈퍼리오리티가 있었음에도 불구하고, 다중 출력 SEGAA 모델은 런타임 효율성과 안정성에서 뛰어나 실시간 응용에 더 적합했다.
• 혼동 행렬 분석 결과, 개별 모델과 다중 출력 SEGAA 모델 모두 낮은 오분류 비율을 보였으며, 다중 출력 버전은 모든 클래스에서 일관된 성능을 보였다.

Figure 2: Model architecture for Individual MLP