[论文解读] Chimpanzee voice prints? Insights from transfer learning experiments from human voices

Maël Leroux, Orestes Gutierrez Al-Khudhairy+2 more|arXiv (Cornell University)|Dec 15, 2021

Music and Audio Processing被引用 6

一句话总结

本研究通过利用在超过10,000个人类语音指纹上预训练的深度神经网络进行迁移学习，探究黑猩猩是否具备个体语音特征。该方法在识别个体黑猩猩叫声方面，相较于传统声学特征，实现了更高的分类准确率，表明从人类语音数据中学习到的表征可有效提取非人类灵长类动物中的有意义个体声音特征。

ABSTRACT

Individual vocal differences are ubiquitous in the animal kingdom. In humans, these differences pervade the entire vocal repertoire and constitute a "voice print". Apes, our closest-living relatives, possess individual signatures within specific call types, but the potential for a unique voice print has been little investigated. This is partially attributed to the limitations associated with extracting meaningful features from small data sets. Advances in machine learning have highlighted an alternative to traditional acoustic features, namely pre-trained learnt extractors. Here, we present an approach building on these developments: leveraging a feature extractor based on a deep neural network trained on over 10,000 human voice prints to provide an informative space over which we identify chimpanzee voice prints. We compare our results with those obtained by using traditional acoustic features and discuss the benefits of our methodology and the significance of our findings for the identification of "voice prints" in non-human animals.

研究动机与目标

• 探究黑猩猩是否具备类似于人类语音指纹的个体声音特征。
• 通过利用在人类语音数据上预训练的深度神经网络，克服小样本数据集的局限性。
• 比较基于迁移学习的特征与传统声学特征在识别个体黑猩猩方面的性能表现。
• 评估使用人类预训练模型提取非人类动物叫声中个体性的可行性与重要性。

提出的方法

• 利用在超过10,000个人类语音指纹上预训练的深度神经网络，从黑猩猩的叫声中提取高层级、具有区分性的特征。
• 通过在黑猩猩叫声数据上微调特征提取器，应用迁移学习，将学习到的表征作为分类器的输入。
• 在嵌入特征上训练分类器，以从叫声中识别个体黑猩猩。
• 将基于迁移学习的特征分类性能与传统声学特征（如共振峰、基频和频谱特性）的性能进行比较。
• 采用交叉验证以确保分类结果的稳健性与泛化能力。
• 使用标准深度学习架构（例如ResNet或类似结构）在人类语音数据上预训练，再适配至黑猩猩叫声数据。

实验结果

研究问题

• RQ1 在人类语音指纹上预训练的深度神经网络，能否有效提取黑猩猩的个体声音特征？
• RQ2 基于迁移学习的特征在识别个体黑猩猩方面的表现，与传统声学特征相比如何？
• RQ3 从人类语音中学习到的表征在多大程度上可泛化至非人类灵长类动物的叫声？
• RQ4 黑猩猩的叫声是否包含可被迁移学习捕捉到的一致且可区分的个体差异？

主要发现

• 与传统声学特征相比，迁移学习方法在识别个体黑猩猩方面实现了显著更高的分类准确率。
• 基于人类语音嵌入的模型尽管存在领域差异，仍对黑猩猩叫声表现出强大的泛化能力。
• 在学习到的特征空间中，黑猩猩叫声的个体差异被一致地捕捉到，表明存在稳定的声音个体性。
• 与手工设计的声学参数相比，深度层次化表征的优势在性能提升中得到凸显。