[论文解读] A Study of Language and Classifier-independent Feature Analysis for Vocal Emotion Recognition

Fatemeh Noroozi, Marina Marjanović+3 more|arXiv (Cornell University)|Nov 14, 2018

Speech and Audio Processing参考文献 1被引用 5

一句话总结

本文提出了一种语言和分类器无关的语音情感识别特征选择框架，采用三阶段流程：特征排序、语言和分类器特定的特征子集识别，以及与最先进滤波方法的性能比较。该方法在多种语言（波兰语、塞尔维亚语、英语）和分类器（KNN、SVM、神经网络）上均实现了卓越的识别性能，其核心贡献在于识别出一组在不同语言和分类器间均表现稳定的6个通用特征（例如，$x_{34}, x_{36}, x_{39}, x_{42}, x_{52}, x_{60}, x_{67}, x_{84}$）。

ABSTRACT

Every speech signal carries implicit information about the emotions, which can be extracted by speech processing methods. In this paper, we propose an algorithm for extracting features that are independent from the spoken language and the classification method to have comparatively good recognition performance on different languages independent from the employed classification methods. The proposed algorithm is composed of three stages. In the first stage, we propose a feature ranking method analyzing the state-of-the-art voice quality features. In the second stage, we propose a method for finding the subset of the common features for each language and classifier. In the third stage, we compare our approach with the recognition rate of the state-of-the-art filter methods. We use three databases with different languages, namely, Polish, Serbian and English. Also three different classifiers, namely, nearest neighbour, support vector machine and gradient descent neural network, are employed. It is shown that our method for selecting the most significant language-independent and method-independent features in many cases outperforms state-of-the-art filter methods.

研究动机与目标

• 开发一种既独立于语音语言又独立于分类算法的语音情感识别特征选择方法。
• 解决情感识别系统中高维、相关且依赖语言的特征带来的挑战。
• 识别出一个最小且稳健的特征集合，使其在不同语言和分类器下均保持高性能。
• 在降低计算复杂度的同时，超越现有基于滤波的特征选择方法在识别准确率上的表现。

提出的方法

• 第一阶段：基于最先进语音质量特征提出一种特征排序方法，以优先考虑特征的相关性和判别能力。
• 第二阶段：采用基于排序的策略，识别出语言特定和分类器特定的特征子集，以选择每种语言和分类器下表现最佳的特征。
• 第三阶段：使用三个数据库（波兰语、塞尔维亚语、英语）和三种分类器（KNN、SVM、神经网络），将所提方法的识别性能与最先进滤波方法进行比较。
• 采用混合特征选择策略，结合统计排序与交叉验证的性能评估，以分离出共有的高影响力特征。
• 在所有数据集中使用统一的84个语音质量特征集合，包括基频、共振峰、梅尔频率倒谱系数（MFCCs）、滤波器组能量（FBE）和频谱特征。
• 在所有语言中应用统一的特征提取流程，以确保评估的一致性和公平性。

实验结果

研究问题

• RQ1 能否设计一种真正独立于语言和分类器的特征选择方法，同时保持高识别准确率？
• RQ2 在语音情感识别中，哪些语音质量特征子集在多种语言和分类器间表现出最一致的判别能力？
• RQ3 所提方法在多语言情感识别中与现有基于滤波的特征选择技术相比性能如何？
• RQ4 在不同语言和分类器条件下，能够实现高性能的最小特征集合是什么？
• RQ5 语言特定和分类器特定的特征子集在多大程度上存在差异？如何识别出一个共同的核心特征集？

主要发现

• 所提方法在所有测试语言和分类器上均优于最先进滤波方法的识别准确率。
• 一组核心特征——$x_{34}, x_{36}, x_{39}, x_{42}, x_{52}, x_{60}, x_{67}, x_{84}$——在波兰语、塞尔维亚语和英语数据集中均表现出持续有效性。
• 即使仅使用每类器的前22个排序特征，该方法仍实现了高识别性能，展现出高效性和鲁棒性。
• 分类器无关的特征选择识别出 $x_{21}, x_{22}, x_{26}, x_{28}, x_{29}, x_{33}, x_{63}, x_{66}, x_{67}, x_{79}, x_{84}$ 在KNN、SVM和神经网络中均具有高度相关性。
• 语言特定的特征子集存在显著差异，但顶级特征的重叠程度较高，验证了通用情感线索的存在。
• 采用统一的排序策略，使得在不依赖下游分类器的情况下，能够一致识别出高性能特征。