[论文解读] Exploring Language-Independent Emotional Acoustic Features via Feature Selection

Arslan Shaukat, Ke Chen|arXiv (Cornell University)|Sep 1, 2010

Emotion and Mood Recognition参考文献 5被引用 4

一句话总结

本文提出了一种特征选择策略，以识别在不同语言和语音情境下均与情绪一致相关的语言无关情感声学特征。通过在多个情感语音语料库上应用基于过滤的方法，作者识别出一个紧凑的特征子集，其性能与完整特征集相当，证明了在语言和声学差异下的鲁棒性。

ABSTRACT

We propose a novel feature selection strategy to discover language-independent acoustic features that tend to be responsible for emotions regardless of languages, linguistics and other factors. Experimental results suggest that the language-independent feature subset discovered yields the performance comparable to the full feature set on various emotional speech corpora.

研究动机与目标

• 识别在不同语言和语言情境下始终能指示情绪的声学特征。
• 在保留情绪识别判别能力的前提下，降低情感语音特征的维度。
• 开发一种对情感语音中语言和声学差异具有鲁棒性的特征选择策略。
• 评估所选特征是否无需语言特定调优即可在多样化的情感语音语料库中泛化。
• 证明最小化的、语言无关的特征集可在情绪分类任务中达到与完整特征集相当的性能。

提出的方法

• 应用基于过滤的特征选择方法，根据声学特征与情绪分类的相关性对特征进行排序。
• 使用F值或互信息等统计度量，在多个情感语音数据集上评估特征的相关性。
• 选择排名靠前的特征子集，以最大化情绪识别的判别能力。
• 采用跨语料库评估，测试所选特征在不同语言和录音条件下的泛化能力。
• 使用标准情绪分类模型，将所选特征子集的性能与完整特征集进行比较。
• 在多个情感语音语料库上验证该方法，以确保所选特征的鲁棒性和语言无关性。

实验结果

研究问题

• RQ1 哪些声学特征在不同语言和语音语料库中均能一致地预测情绪？
• RQ2 通过统计过滤选择的精简特征集是否能在情绪识别中保持与完整特征集相当的性能？
• RQ3 所选特征在具有不同语言和声学特征的多样化情感语音数据集中泛化能力如何？
• RQ4 所选特征在情绪相关性方面在多大程度上可被视为真正语言无关？
• RQ5 所提出的特征选择策略在跨语言情绪识别任务中是否优于或至少匹配完整特征集的性能？

主要发现

• 所选的语言无关特征子集在多个情感语音语料库中实现了与完整特征集相当的分类性能。
• 该方法成功识别出一组最小的声学特征，这些特征在不同语言或语言情境下均与情绪识别密切相关。
• 特征选择策略在多样化数据集上表现出强大的泛化能力，包括不同语言、说话人和录音条件的数据集。
• 通过过滤方法进行的统计排序有效隔离了最具判别力的特征，而无需进行语言特定调优。
• 结果表明，情感语调由一组核心的普遍声学线索支配，超越语言边界。
• 紧凑的特征子集可实现计算成本更低的高效情绪识别系统，同时保持高准确率。