[论文解读] Adversarial representation learning for private speech generation

David Ericsson, Adam Östberg+3 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 14

一句话总结

本文提出PCMelGAN，一种两阶段生成对抗网络，通过在梅尔频谱图域中过滤并用合成的私有属性替换性别等敏感属性，实现对语音中敏感属性的混淆。该方法在保持语音实用性（数字识别准确率 >80%）的同时实现了强隐私保护（性别推断准确率接近50%），且与基线方法相比，生成音频的FID得分降低了50%以上。

ABSTRACT

As more and more data is collected in various settings across organizations, companies, and countries, there has been an increase in the demand of user privacy. Developing privacy preserving methods for data analytics is thus an important area of research. In this work we present a model based on generative adversarial networks (GANs) that learns to obfuscate specific sensitive attributes in speech data. We train a model that learns to hide sensitive information in the data, while preserving the meaning in the utterance. The model is trained in two steps: first to filter sensitive information in the spectrogram domain, and then to generate new and private information independent of the filtered one. The model is based on a U-Net CNN that takes mel-spectrograms as input. A MelGAN is used to invert the spectrograms back to raw audio waveforms. We show that it is possible to hide sensitive information such as gender by generating new data, trained adversarially to maintain utility and realism.

研究动机与目标

• 为应对机器学习系统处理语音数据时日益增长的敏感属性（如性别、身份）意外泄露问题。
• 开发一种隐私保护型语音生成方法，确保下游任务（如语音识别）的高实用性。
• 克服语音变形和语音转换技术的局限性，生成真实且私有的语音，同时不改变说话者的意图或语调。
• 设计一种对下游任务无偏见、并可泛化至任意类别敏感属性的方法。

提出的方法

• 该模型采用基于U-Net的编码器-解码器架构，在梅尔频谱图域中过滤敏感属性。
• 一个独立的生成模块合成新的、私有的敏感属性表示（如性别）以替代原始属性。
• 该框架采用两阶段对抗训练设置：首先，过滤模块去除敏感信息；其次，生成模块用合成的独立数据替换该信息。
• 使用预训练的MelGAN将修改后的梅尔频谱图还原为原始音频波形。
• 该方法被形式化为一个无约束优化问题，通过畸变预算ε控制信号保真度。
• 模型通过对抗损失进行端到端训练，以确保生成音频的真实感和隐私性，同时保留语义内容。

实验结果

研究问题

• RQ1 基于GAN的模型能否在保留话语语义内容的同时，有效隐藏语音中的敏感属性（如性别）？
• RQ2 与简单过滤相比，添加合成属性生成器在隐私保护和实用性方面有何提升？
• RQ3 在混淆处理后，该模型在多大程度上保持了音频的真实感和感知质量？
• RQ4 畸变预算ε如何影响隐私与语音实用性之间的权衡？
• RQ5 该方法能否泛化至性别以外的其他类别敏感属性？

主要发现

• 在过滤后的频谱图上，模型的性别分类准确率接近随机水平（48.7±2.4%），表明具有强大的隐私保护能力。
• 在PCMelGAN设置下，数字识别的实用性依然很高（81.1±3.7%），证明了内容的有效保留。
• 在ε=0.005时，生成音频的FID得分为10.12±3.15，相比基线方法（20.17±4.04）提升了50%以上。
• 即使在更高的畸变预算（ε=0.1）下，模型仍保持强隐私保护（性别准确率49.8±0.5%），同时维持中等实用性（数字识别准确率15.1±5.4%）。
• 定性结果表明，生成的语音在感知上真实自然，保持了语调和内容，音频质量无明显退化。
• 与简单过滤相比，添加合成属性生成器显著提升了音频的真实感和保真度，该结论得到了FID得分和听觉测试的双重验证。