[论文解读] The VoicePrivacy 2022 Challenge Evaluation Plan

Natalia Tomashenko, Miao, Xiaoxiao+8 more|arXiv (Cornell University)|Mar 23, 2022

Speech Recognition and Synthesis被引用 9

一句话总结

本文概述了 VoicePrivacy 2022 挑战赛，这是一项基准测试计划，旨在开发能够隐藏说话人身份的同时保留语言内容、可懂度和自然度的语音匿名化系统。该研究引入了一种半知情自动说话人验证（ASV）攻击模型，采用 EER、WER、音高相关性及语音独特性等指标对系统进行评估，并基于最低隐私要求制定了排名政策，以实现在共享数据集和协议下对匿名化技术进行公平比较。

ABSTRACT

For new participants - Executive summary: (1) The task is to develop a voice anonymization system for speech data which conceals the speaker's voice identity while protecting linguistic content, paralinguistic attributes, intelligibility and naturalness. (2) Training, development and evaluation datasets are provided in addition to 3 different baseline anonymization systems, evaluation scripts, and metrics. Participants apply their developed anonymization systems, run evaluation scripts and submit objective evaluation results and anonymized speech data to the organizers. (3) Results will be presented at a workshop held in conjunction with INTERSPEECH 2022 to which all participants are invited to present their challenge systems and to submit additional workshop papers. For readers familiar with the VoicePrivacy Challenge - Changes w.r.t. 2020: (1) A stronger, semi-informed attack model in the form of an automatic speaker verification (ASV) system trained on anonymized (per-utterance) speech data. (2) Complementary metrics comprising the equal error rate (EER) as a privacy metric, the word error rate (WER) as a primary utility metric, and the pitch correlation and gain of voice distinctiveness as secondary utility metrics. (3) A new ranking policy based upon a set of minimum target privacy requirements.

研究动机与目标

• 促进有效语音匿名化技术的发展，以抑制说话人身份，同时保留语言内容和语音质量。
• 建立标准化基准，采用统一的数据集、协议和评估指标，用于比较匿名化系统。
• 使用半知情 ASV 攻击模型、EER 作为隐私指标、WER 作为主要效用指标，评估匿名化性能。
• 引入次要效用指标——音高相关性（ρF₀）和语音独特性增益（GVD），以评估对副语言特征的保留程度。
• 基于最低隐私要求制定排名政策，确保系统比较的稳健性与公平性。

提出的方法

• 参赛者在共享数据集上训练并应用语音匿名化系统，将原始语音转换为匿名化版本，同时保留语言内容。
• 评估采用在匿名化语音上训练的半知情 ASV 系统，通过等错误率（EER）衡量隐私泄露程度。
• 通过在匿名化语音上应用自动语音识别（ASR）系统，使用词错误率（WER）评估语言效用。
• 次要效用指标包括音高相关性（ρF₀）和语音独特性增益（GVD），用于评估语调和语音特征的保留情况。
• 评估脚本处理匿名化语音，生成 ASV 和 ASR 评分、Kaldi 格式的 PLDA（LLR）评分，以及用于提交的结果文件。
• 所有提交均包含客观评估结果、匿名化音频（16 kHz，PCM 格式）和详细的系统说明，通过集中门户提交。

实验结果

研究问题

• RQ1 语音匿名化系统在保持语音可懂度和自然度的同时，多大程度上能够有效隐藏说话人身份？
• RQ2 半知情 ASV 攻击模型在多大程度上暴露了匿名化语音中残留的说话人身份？
• RQ3 通过下游 ASR 系统的 WER 测量，匿名化语音信号在保留语言内容方面表现如何？
• RQ4 关键副语言特征（如音高和语音独特性）在匿名化后变化程度如何？
• RQ5 基于客观指标和最低隐私阈值的标准化评估框架，能否确保匿名化技术比较的公平性与可复现性？

主要发现

• VoicePrivacy 2022 挑战赛引入了在匿名化数据上训练的更强的半知情 ASV 攻击模型，提高了实现有效匿名化的难度。
• EER 指标被用作主要隐私指标，较低的值表示更好的匿名化性能。
• WER 指标作为主要效用指标，较低的值表示匿名化语音中语言内容的保留更好。
• 次要指标 ρF₀ 和 GVD 为语调和语音特征的保留提供了洞察，较高的值表示保留程度更好。
• 挑战赛基于最低隐私要求制定了排名政策，确保仅满足基础隐私阈值的系统才被纳入最终评估。
• 所有结果，包括匿名化音频和评估分数，均以标准化格式提交，并由组织方验证，以确保可复现性和公平性。