[논문 리뷰] Emotional State Categorization from Speech: Machine vs. Human

Arslan Shaukat, Ke Chen|arXiv (Cornell University)|2010. 09. 01.

Emotion and Mood Recognition참고 문헌 15인용 수 4

한 줄 요약

이 논문은 심리학에 영감을 받은 다단계 기계학습 모델을 제안하며, 세르비아어(gees) 및 덴마크어(des) 감정 음성 코퍼스에서 음성으로부터 감정 상태를 분류하는 데에 사용한다. 동일한 실험 조건에서 인간 성능과 비교했을 때 모델은 인간의 인식률에 매우 가까운 성능을 달성하여 기계와 인간 간의 감정 인식에서 강한 유사성과 미세한 차이를 드러낸다.

ABSTRACT

This paper presents our investigations on emotional state categorization from speech signals with a psychologically inspired computational model against human performance under the same experimental setup. Based on psychological studies, we propose a multistage categorization strategy which allows establishing an automatic categorization model flexibly for a given emotional speech categorization task. We apply the strategy to the Serbian Emotional Speech Corpus (GEES) and the Danish Emotional Speech Corpus (DES), where human performance was reported in previous psychological studies. Our work is the first attempt to apply machine learning to the GEES corpus where the human recognition rates were only available prior to our study. Unlike the previous work on the DES corpus, our work focuses on a comparison to human performance under the same experimental settings. Our studies suggest that psychology-inspired systems yield behaviours that, to a great extent, resemble what humans perceived and their performance is close to that of humans under the same experimental setup. Furthermore, our work also uncovers some differences between machine and humans in terms of emotional state recognition from speech.

연구 동기 및 목표

• 심리학적 모델에 영감을 받은 기계학습 시스템을 개발하여 음성에서 감정 상태를 분류한다.
• 기존에 인간 인식률이 존재하지 않은 세르비아어 감정 음성 코퍼스(gees)에서 기계 성능을 평가한다.
• des 코퍼스에서 동일한 실험 조건 하에 기계와 인간의 성능을 비교하여 공정한 벤치마킹을 확보한다.
• 기계 모델이 음성 신호에서 인간과 유사한 감정 분류 행동을 얼마나 잘 재현할 수 있는지 조사한다.

제안 방법

• 감정 인식 및 분류의 심리학적 원리에 기반한 다단계 분류 전략을 설계한다.
• 모델은 인간의 감정 자극에 대한 청각적 및 인지적 처리 방식을 모방하는 순차적 단계를 거친다.
• 음성 신호에서 프로소딕 및 스펙트럼 분석을 통해 특징을 추출하며, 이는 심리학적 감정 차원과 일치한다.
• 기계학습 분류기가 gees 및 des 코퍼스에서 음성 특징을 이산적인 감정 카테고리로 매핑하도록 훈련된다.
• 이전 인간 연구와 동일한 실험 설정을 사용하여 성능을 평가함으로써 직접 비교가 가능하다.
• 두 가지 서로 다른 감정 음성 코퍼스인 gees(세르비아어) 및 des(덴마크어)에서 시스템을 검증하여 언어 간 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 심리학에 영감을 받은 기계학습 모델이 음성에서 감정을 분류하는 데서 인간의 성능을 어느 정도 재현할 수 있는가?
• RQ2 기존에 인간 데이터가 존재하지 않는 gees 코퍼스에서 기계 성능은 인간의 인식률과 어떻게 비교되는가?
• RQ3 동일한 실험 조건 하에서 기계와 인간의 감정 분류 행동 간 유사성과 차이는 무엇인가?
• RQ4 다단계 계산 모델이 음성 신호에서 인간과 유사한 감정 인지 방식을 효과적으로 시뮬레이션할 수 있는가?

주요 결과

• 제안된 기계학습 모델은 동일한 실험 조건에서 gees 및 des 코퍼스 모두에서 인간 성능에 매우 가까운 인식 성능을 달성한다.
• 모델은 특히 감정 카테고리가 잘못 분류되거나 혼동되는 방식에서 인간 인지와 강한 행동 유사성을 보인다.
• gees 코퍼스에서는 기존에 인간 데이터가 없었음에도 불구하고, 기계 모델은 이전에 보고된 인간 수준의 인식 정확도를 달성한다.
• des 코퍼스에서는 모델의 성능이 인간 인식률과 매우 좁은 범위 내에 있으며, 이는 모델이 심리학적 모방으로서의 타당성을 확인함을 의미한다.
• 모델과 인간 간의 성능에 미세한 차이가 나타나며, 특히 모호하거나 겹치는 감정 카테고리 처리 방식에서 두드러진다.
• 다단계 전략은 다양한 감정 분류 작업에 대한 민첩한 적응을 가능하게 하며, 다양한 음성 코퍼스에서의 강건성을 향상시킨다.