[论文解读] Emotionless: Privacy-Preserving Speech Analysis for Voice Assistants

Ranya Aloufi, Hamed Haddadi+1 more|arXiv (Cornell University)|Aug 9, 2019

Emotion and Mood Recognition参考文献 21被引用 16

一句话总结

本文提出 Emotionless，一种隐私保护语音转换框架，通过在传输至云服务前从语音信号中去除敏感情绪信息，实现隐私保护。该框架采用基于 CycleGAN 的特征提取器与 WORLD 语音编码器，使情绪识别准确率降低约 96%，同时在语音识别和说话人识别任务中保持较高性能，语音识别的词错误率（WER）仅为 35%，说话人识别的等错误率（EER）仅增加 0.12%。

ABSTRACT

Voice-enabled interactions provide more human-like experiences in many popular IoT systems. Cloud-based speech analysis services extract useful information from voice input using speech recognition techniques. The voice signal is a rich resource that discloses several possible states of a speaker, such as emotional state, confidence and stress levels, physical condition, age, gender, and personal traits. Service providers can build a very accurate profile of a user's demographic category, personal preferences, and may compromise privacy. To address this problem, a privacy-preserving intermediate layer between users and cloud services is proposed to sanitize the voice input. It aims to maintain utility while preserving user privacy. It achieves this by collecting real time speech data and analyzes the signal to ensure privacy protection prior to sharing of this data with services providers. Precisely, the sensitive representations are extracted from the raw signal by using transformation functions and then wrapped it via voice conversion technology. Experimental evaluation based on emotion recognition to assess the efficacy of the proposed method shows that identification of sensitive emotional state of the speaker is reduced by ~96 %.

研究动机与目标

• 解决语音助手可能从语音信号中推断出情绪、压力或健康状况等敏感特征所带来的隐私风险。
• 开发一种系统，在去除如情绪状态等敏感副语言信息的同时，保留语音内容和说话人身份的可用性。
• 在真实物联网应用中评估隐私保护与语音识别性能之间的权衡。
• 提供一种实用的、实时的中间层，位于用户与云服务之间，对语音输入进行匿名化处理，同时不损害可用性。

提出的方法

• 采用 CycleGAN 架构从原始语音信号中提取敏感副语言特征（如情绪）。
• 利用提取的特征训练语音转换模型，将原始语音转换为具有中性情绪内容的隐私保护版本。
• 使用最先进的语音编码器（WORLD）从转换后的特征中重建语音信号，以保留语言内容。
• 该框架支持实时处理，可在传输至云服务前部署于边缘设备。
• 使用 RAVDESS 数据集对系统进行评估，情绪识别准确率作为主要隐私指标。
• 通过词错误率（WER）和等错误率（EER）分别衡量语音识别和说话人识别性能。

实验结果

研究问题

• RQ1 语音转换系统能否在保留语音内容和说话人身份的同时，有效隐藏语音中的情绪状态？
• RQ2 所提出的方法在多大程度上降低了语音识别和说话人识别的性能？
• RQ3 该框架在不损害语音可用性的前提下，对情绪识别模型准确率的降低效果如何？
• RQ4 该系统能否在资源受限的边缘设备上实现实时部署，适用于实际的物联网应用？

主要发现

• 应用 Emotionless 框架后，情绪识别准确率下降约 96%，表明其在保护情绪状态隐私方面具有显著效果。
• 语音识别性能受到的影响极小，在 RAVDESS 数据集上的平均词错误率（WER）为 35%。
• 说话人识别性能出现可忽略的下降，等错误率（EER）仅增加 0.12%。
• 该框架在有效匿名化敏感副语言特征的同时，成功保留了语言内容和说话人身份。
• 该方法在核心语音分析任务中保持了高可用性，适用于语音驱动的物联网系统在真实场景中的部署。
• 结果表明，语音转换可作为一种有效技术，在基于云的语音分析中实现隐私与可用性的平衡。