[论文解读] Defending Your Voice: Adversarial Attack on Voice Conversion

Chien‐Yu Huang, Yist Y. Lin+2 more|arXiv (Cornell University)|May 18, 2020

Speech Recognition and Synthesis参考文献 41被引用 5

一句话总结

本论文提出了首个针对语音转换系统的对抗性攻击，以保护个人说话人身份。通过在说话人的语音中注入人耳无法察觉的噪声，该方法在白盒和黑盒设置下均能破坏零样本语音转换模型，使转换后的输出不再像被保护的说话人，同时对抗性输入在客观和主观评估中仍与真实语音难以区分。

ABSTRACT

Substantial improvements have been achieved in recent years in voice conversion, which converts the speaker characteristics of an utterance into those of another speaker without changing the linguistic content of the utterance. Nonetheless, the improved conversion technologies also led to concerns about privacy and authentication. It thus becomes highly desired to be able to prevent one's voice from being improperly utilized with such voice conversion technologies. This is why we report in this paper the first known attempt to perform adversarial attack on voice conversion. We introduce human imperceptible noise into the utterances of a speaker whose voice is to be defended. Given these adversarial examples, voice conversion models cannot convert other utterances so as to sound like being produced by the defended speaker. Preliminary experiments were conducted on two currently state-of-the-art zero-shot voice conversion models. Objective and subjective evaluation results in both white-box and black-box scenarios are reported. It was shown that the speaker characteristics of the converted utterances were made obviously different from those of the defended speaker, while the adversarial examples of the defended speaker are not distinguishable from the authentic utterances.

研究动机与目标

• 解决先进语音转换技术可能带来的隐私泄露问题，这些技术可模仿个人声音。
• 开发一种防御机制，通过使说话人声音对转换攻击具有抗性，防止未经授权的语音转换。
• 探索生成模型（特别是语音转换）的对抗性攻击，该领域相较于判别模型仍研究不足。
• 通过客观说话人验证和主观听音测试，在真实（黑盒）场景中评估方法的有效性。

提出的方法

• 在语音转换模型处理前，向说话人的语音输入中注入人耳无法察觉的对抗性噪声。
• 提出三种攻击策略：端到端攻击、嵌入攻击和反馈攻击，分别针对语音转换流程的不同组件。
• 采用标准的编码器-解码器架构，包含独立的内容编码器和说话人编码器，并对说话人编码器的输入进行扰动，以改变说话人表征。
• 使用损失函数优化扰动，以最大化说话人嵌入空间中被保护说话人与转换输出之间的差异。
• 在白盒（完全访问模型）和黑盒（使用代理模型）设置下应用攻击，以模拟真实世界部署场景。
• 通过客观指标（如说话人验证准确率）和人类评分员的主观听音测试验证攻击效果。

Fig. 1 : The encoder-decoder based voice conversion model and the three proposed approaches. Perturbations are updated on the utterances providing speaker characteristics, as the blue dashed lines indicate.

实验结果

研究问题

• RQ1 能否在不降低原始语音感知质量的前提下，利用对抗性噪声破坏零样本语音转换模型？
• RQ2 该对抗性攻击在客观和主观评估中，是否能有效使转换语音听起来与被保护说话人不同？
• RQ3 当攻击者对目标模型了解有限时，该攻击是否仍能在黑盒场景下保持有效性？
• RQ4 与原始语音相比，人类听者在多大程度上能感知到对抗性输出与被保护说话人不同？
• RQ5 该攻击是否可应用于最先进的语音转换模型（如Chou’s和AutoVC），并保持一致的效果？

主要发现

• 在白盒场景下，对抗性输出的说话人验证准确率分别降至Chou’s模型的1.5%和AutoVC模型的2.5%，表明与被保护说话人存在显著偏差。
• 主观评估显示，超过58%的听者判断对抗性输出来自不同说话人（类别I），而超过70%的听者认为对抗性输入与原始说话人完全相同。
• 黑盒攻击依然有效，Chou’s和AutoVC模型的说话人验证得分分别有12.0%和19.5%表明转换语音来自不同说话人。
• 对于AutoVC模型，仅有27%的听者认为原始输出与同一说话人相同，表明客观指标与人类感知之间存在不一致。
• 该方法保持了音频质量，对抗性输入在客观和主观测试中均无法与真实语音区分开来。
• 该方法在不同模型和设置下表现出鲁棒性，在白盒和黑盒评估中均保持一致的性能。