[论文解读] Emotional State Categorization from Speech: Machine vs. Human

Arslan Shaukat, Ke Chen|arXiv (Cornell University)|Sep 1, 2010

Emotion and Mood Recognition参考文献 15被引用 4

一句话总结

本文提出了一种受心理学启发的多阶段机器学习模型，用于从语音中分类情绪状态，并在塞尔维亚语（GEES）和丹麦语（DES）情绪语音语料库上与人类表现进行对比评估。在相同实验条件下，该模型的性能接近人类识别率，揭示了机器与人类在情绪感知方面既存在显著相似性，也存在细微差异。

ABSTRACT

This paper presents our investigations on emotional state categorization from speech signals with a psychologically inspired computational model against human performance under the same experimental setup. Based on psychological studies, we propose a multistage categorization strategy which allows establishing an automatic categorization model flexibly for a given emotional speech categorization task. We apply the strategy to the Serbian Emotional Speech Corpus (GEES) and the Danish Emotional Speech Corpus (DES), where human performance was reported in previous psychological studies. Our work is the first attempt to apply machine learning to the GEES corpus where the human recognition rates were only available prior to our study. Unlike the previous work on the DES corpus, our work focuses on a comparison to human performance under the same experimental settings. Our studies suggest that psychology-inspired systems yield behaviours that, to a great extent, resemble what humans perceived and their performance is close to that of humans under the same experimental setup. Furthermore, our work also uncovers some differences between machine and humans in terms of emotional state recognition from speech.

研究动机与目标

• 开发一种受人类情绪感知心理学模型启发的语音情绪状态分类机器学习系统。
• 在塞尔维亚语情绪语音语料库（GEES）上评估机器性能，此前该语料库未有可用的人类识别率数据。
• 在DES语料库上以相同实验条件对比机器与人类表现，确保公平基准测试。
• 研究机器模型在多大程度上能够模拟人类在语音中进行情绪分类的行为。

提出的方法

• 基于情绪感知与分类的心理学原理，设计了一种多阶段分类策略。
• 该模型通过一系列阶段处理语音信号，模拟人类对情绪线索的感知与认知处理过程。
• 利用韵律和频谱分析从语音信号中提取特征，与情绪的心理学维度相匹配。
• 在GEES和DES语料库上训练机器学习分类器，将声学特征映射到离散情绪类别。
• 采用与先前人类研究相同的实验设置进行性能评估，实现直接对比。
• 在两个具有差异性的情绪语音语料库上对系统进行验证：GEES（塞尔维亚语）和DES（丹麦语），以确保跨语言的泛化能力。

实验结果

研究问题

• RQ1 受心理学启发的机器学习模型在多大程度上能够复现人类在从语音中分类情绪方面的表现？
• RQ2 在GEES语料库上，机器性能与人类识别率相比如何，尤其是在此前该语料库无任何人类数据的情况下？
• RQ3 在相同实验条件下，机器与人类情绪分类行为之间存在哪些相似性与差异性？
• RQ4 多阶段计算模型能否有效模拟人类从语音信号中进行类人情绪感知的行为？

主要发现

• 所提出的机器学习模型在相同实验条件下，于GEES和DES语料库上的识别性能与人类表现非常接近。
• 该模型在行为上与人类感知表现出高度相似性，尤其是在情绪类别被误分类或混淆的方式上。
• 在GEES语料库上，尽管此前无可用的人类数据，该机器模型仍达到了与先前报道的人类识别率相当的准确率。
• 在DES语料库上，模型的性能与人类识别率仅相差极小范围，证实其作为心理模拟模型的有效性。
• 机器与人类表现之间存在细微差异，尤其体现在对模糊或重叠情绪类别的处理上。
• 多阶段策略使模型能够灵活适应不同情绪分类任务，并在多种语音语料库中提升鲁棒性。