[论文解读] Exploring the Importance of F0 Trajectories for Speaker Anonymization using X-vectors and Neural Waveform Models

Ünal Ege Gaznepoglu, Nils Peters|arXiv (Cornell University)|Oct 13, 2021

Speech Recognition and Synthesis参考文献 15被引用 5

一句话总结

本文研究了基频（F0）轨迹修改对使用X向量和神经波形模型进行说话人匿名化的影响。通过在重合成前对F0应用低复杂度数字信号处理技术——特别是随机游走噪声——作者实现了高达8%的匿名化性能提升（以ASV EER衡量），同时对语音可懂度（WER）的退化极小，表明F0操控是一种有前景但尚未充分探索的增强语音隐私系统的方法。

ABSTRACT

Voice conversion for speaker anonymization is an emerging field in speech processing research. Many state-of-the-art approaches are based on the resynthesis of the phoneme posteriorgrams (PPG), the fundamental frequency (F0) of the input signal together with modified X-vectors. Our research focuses on the role of F0 for speaker anonymization, which is an understudied area. Utilizing the VoicePrivacy Challenge 2020 framework and its datasets we developed and evaluated eight low-complexity F0 modifications prior resynthesis. We found that modifying the F0 can improve speaker anonymization by as much as 8% with minor word-error rate degradation.

研究动机与目标

• 探究F0轨迹在说话人匿名化中的作用，该领域在语音隐私研究中尚未得到充分探索。
• 评估低复杂度F0修改对匿名化性能（ASV EER）和语音可懂度（WER）的影响。
• 确定F0操控是否能够超越当前忽略F0的最先进系统，实现更好的匿名化效果。
• 评估F0修改是否可在保持匿名化增益的同时实现可逆性或感知透明性。
• 探索将F0作为可控信号以增强隐私保护的可行性，同时不降低语音质量。

提出的方法

• 本研究采用VoicePrivacy Challenge 2020的框架和基于X向量与神经波形模型的基线系统。
• 设计了八种低复杂度的F0修改技术：平滑化、样条平滑、正弦调制以及不同强度的随机游走噪声。
• 在使用与基线系统相同的神经声学和波形模型进行重合成之前，对F0轨迹进行修改。
• 通过客观指标评估匿名化输出：在'OA'和'AA'场景下，分别使用EER（衡量ASV性能）和WER（衡量ASR性能）。
• 实验对比了基线性能与不同频率组和振幅水平下修改后的F0轨迹性能。
• 对随机游走噪声方法进一步优化，通过后处理平滑减少感知伪影，同时保持匿名化增益。

实验结果

研究问题

• RQ1 修改F0轨迹是否能超越基线系统，提升说话人匿名化性能？
• RQ2 不同F0修改技术如何影响匿名化（ASV EER）与可懂度（WER）之间的权衡？
• RQ3 F0修改是否可在保持匿名化增益的同时实现感知透明？
• RQ4 为何基线系统无法有效匿名化F0轨迹？F0中的身份泄露特征是什么？
• RQ5 在F0上应用随机游走噪声是否可作为一种可行且不可逆的语音隐私增强方法？

主要发现

• 使用随机游走噪声修改F0，使匿名化性能相比基线系统最高提升8%（以'OA' EER评分衡量）。
• 'random-walk-strong'方法在匿名化性能上达到或超过当前最先进X向量修改技术（包括领域自适应自编码器）。
• 'random-walk-weak'方法在WER和训练集EER上与'shift-and-scale'基线相当，同时具备更强的可逆性抵抗能力。
• 正弦调制F0引入了明显的震颤伪影，降低了感知质量，而低强度下的随机游走噪声则保持不可听。
• 增加说话人间差异性的F0修改方法（如随机游走）降低了'AA' EER分数，表明此类方法在注册数据也被匿名化时仍能保持匿名化效果。
• 对随机游走噪声进行后处理平滑，可减少不自然的F0波动，且不损失匿名化增益，表明这是一条实现感知鲁棒性F0操控的可行路径。