[论文解读] 3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement

Siqi Zheng, Luyao Cheng+3 more|arXiv (Cornell University)|Jun 27, 2023

Speech Recognition and Synthesis被引用 5

一句话总结

3D-Speaker 是一个大规模、公开可用的语音语料库，包含超过 10,000 名说话人，每位说话人在多种设备、距离和方言下被录制，支持语音表征解耦研究。它支持监督学习与自监督学习，具备跨域泛化能力，并可用于通用语音模型的评估，基准结果在跨设备、跨距离和跨方言的说话人验证任务中表现出最先进性能。

ABSTRACT

Disentangling uncorrelated information in speech utterances is a crucial research topic within speech community. Different speech-related tasks focus on extracting distinct speech representations while minimizing the affects of other uncorrelated information. We present a large-scale speech corpus to facilitate the research of speech representation disentanglement. 3D-Speaker contains over 10,000 speakers, each of whom are simultaneously recorded by multiple Devices, locating at different Distances, and some speakers are speaking multiple Dialects. The controlled combinations of multi-dimensional audio data yield a matrix of a diverse blend of speech representation entanglement, thereby motivating intriguing methods to untangle them. The multi-domain nature of 3D-Speaker also makes it a suitable resource to evaluate large universal speech models and experiment methods of out-of-domain learning and self-supervised learning. https://3dspeaker.github.io/

研究动机与目标

• 为解决缺乏大规模、公开可用的数据集，且其显式标注了多种语音属性（如说话人ID、设备、距离和方言）的问题。
• 支持对语音信息中无关因素（如内容、说话人身份、设备和环境）进行解耦的研究，以提升自动语音识别（ASR）、说话人验证（SV）和语音合成的性能。
• 支持开发和评估能够跨多样化领域泛化的通用语音模型。
• 通过受控的多维数据变化，促进跨域学习和自监督表征学习。

提出的方法

• 该语料库通过在不同距离处放置多种设备，对超过 10,000 名说话人进行录制而构建，每位说话人在多种方言中进行录音。
• 每个语音片段均标注了说话人ID、录音设备、与声源的距离以及方言的显式标签，支持多维解耦实验。
• 该数据集支持监督学习与自监督学习，基线模型如 ECAPA-TDNN、CAM++ 和 ERes2Net 在多个任务上进行了训练与评估。
• 建立了多轨道基准框架，用于跨设备、跨距离和跨方言的说话人验证，采用严格协议确保注册语音与测试语音在内容和领域上均不相同。
• 使用 RDINO 方法评估自监督学习基线，将所有标签视为未知，以评估无监督表征学习能力。
• 通过允许在特定子集（如仅近场）上训练并在其他子集（如远场）上测试，该语料库支持跨域评估，模拟真实世界中的领域偏移。

实验结果

研究问题

• RQ1 在大规模、多领域设置下，模型在从录音设备、距离和方言等无关因素中解耦说话人身份方面的有效性如何？
• RQ2 自监督学习方法能否在未显式标注所有属性的情况下，从 3D-Speaker 中有效学习解耦表征？
• RQ3 当在 3D-Speaker 上训练时，通用语音模型在设备、距离和方言领域之间的泛化能力如何？
• RQ4 当模型在某一领域（如近场）上训练而在另一领域（如远场）上测试时，说话人验证的性能差距有多大？
• RQ5 包含多种方言如何影响说话人嵌入模型的鲁棒性与解耦能力？

主要发现

• ECAPA-TDNN 模型在跨设备说话人验证任务中达到 8.87% 的 EER 和 0.732 的 minDCF，表现出优异的领域泛化性能。
• CAM++ Base 模型在跨设备任务中达到 7.75% 的 EER 和 0.723 的 minDCF，相比基线模型展现出更强的鲁棒性。
• ERes2Net Large 模型在跨设备任务中表现最佳，EER 为 6.55%，minDCF 为 0.640，凸显了模型规模与架构的优势。
• 在跨距离任务中，ERes2Net Large 模型达到 9.45% 的 EER 和 0.713 的 minDCF，表明其在近场与远场条件下的强泛化能力。
• 基线自监督方法 RDINO 在跨设备、跨距离和跨方言验证中的 EER 分别为 20.41%、21.92% 和 25.53%，表明无监督解耦仍有较大提升空间。
• 语言/方言识别基线模型在测试集上的准确率为 29.36%，表明在无显式监督的情况下，从原始音频中学习方言表征极具挑战。