[论文解读] DeepSonar: Towards Effective and Robust Detection of AI-Synthesized Fake Voices

Run Wang, Felix Juefei-Xu+5 more|arXiv (Cornell University)|May 28, 2020

Music and Audio Processing参考文献 49被引用 17

一句话总结

DeepSonar 提出了一种基于神经元行为的新方法，通过分析说话人识别模型中的逐层激活模式来检测由AI生成的伪造语音，在多个数据集上实现了98.1%的平均准确率和约2%的低误报率，同时在语音转换和真实世界噪声攻击下表现出强鲁棒性。

ABSTRACT

With the recent advances in voice synthesis, AI-synthesized fake voices are indistinguishable to human ears and widely are applied to produce realistic and natural DeepFakes, exhibiting real threats to our society. However, effective and robust detectors for synthesized fake voices are still in their infancy and are not ready to fully tackle this emerging threat. In this paper, we devise a novel approach, named \emph{DeepSonar}, based on monitoring neuron behaviors of speaker recognition (SR) system, \ie, a deep neural network (DNN), to discern AI-synthesized fake voices. Layer-wise neuron behaviors provide an important insight to meticulously catch the differences among inputs, which are widely employed for building safety, robust, and interpretable DNNs. In this work, we leverage the power of layer-wise neuron activation patterns with a conjecture that they can capture the subtle differences between real and AI-synthesized fake voices, in providing a cleaner signal to classifiers than raw inputs. Experiments are conducted on three datasets (including commercial products from Google, Baidu, \etc) containing both English and Chinese languages to corroborate the high detection rates (98.1\% average accuracy) and low false alarm rates (about 2\% error rate) of DeepSonar in discerning fake voices. Furthermore, extensive experimental results also demonstrate its robustness against manipulation attacks (\eg, voice conversion and additive real-world noises). Our work further poses a new insight into adopting neuron behaviors for effective and robust AI aided multimedia fakes forensics as an inside-out approach instead of being motivated and swayed by various artifacts introduced in synthesizing fakes.

研究动机与目标

• 应对日益增长的AI生成伪造语音威胁，这些语音与真实人类语音难以区分，可能引发欺诈和虚假信息传播风险。
• 克服现有检测方法依赖合成语音中可检测特征的局限性，因为现代系统中这些特征往往缺失或不明显。
• 开发一种在真实世界条件下（包括嘈杂环境和后期处理操作）既有效又鲁棒的检测框架。
• 探索一种基于内部神经元行为而非外部特征的“内向”检测方法，以提升泛化能力和可解释性。

提出的方法

• 监控预训练说话人识别（SR）模型中的逐层神经元激活模式，以提取真实与伪造语音的判别性表征。
• 将深度神经网络（DNN）的内部表征作为分类信号源，避免依赖语音合成过程中引入的合成特征。
• 在多个层的神经元激活模式聚合基础上训练分类器，以区分真实人类语音与AI生成的伪造语音。
• 应用数据增强和归一化技术，提升在不同语音类型和语言（英语和中文）下的泛化能力。
• 通过在测试输入中应用语音转换和加性真实世界噪声（如风声、雨声、笑声）来评估鲁棒性，模拟真实部署环境。
• 与基于双谱特征分析的基线方法进行对比，证明在操作攻击下具有更优的鲁棒性。

实验结果

研究问题

• RQ1 说话人识别模型中的逐层神经元激活模式能否有效区分真实人类语音与AI生成的伪造语音？
• RQ2 所提出的基于神经元行为的检测方法在真实世界噪声条件和语音转换攻击下表现如何？
• RQ3 与依赖外部特征（如双谱特征）的方法相比，监测DNN内部行为是否能带来更好的检测性能和鲁棒性？
• RQ4 该方法在不同语言及商用TTS/VC系统（如Google、百度）之间是否具备良好的泛化能力？

主要发现

• DeepSonar 在三个多样化数据集上实现了98.1%的平均检测准确率，涵盖商用TTS和语音克隆系统。
• 误报率保持在约2%的低水平，表明在真实与伪造语音区分上具有高度可靠性。
• 在语音转换攻击下，DeepSonar 保持强劲性能，平均检测准确率在五种噪声强度下下降不足7%。
• 对于加性真实世界噪声，室内噪声（如烟花、火车声）导致性能下降小于18%，风声和雨声导致下降最多达25%，但在信噪比（SNR）>35 dB时仍保持有效。
• 在所有操作类型下，DeepSonar 显著优于基于双谱特征的基线方法，AUC得分始终更高。
• 该方法对复杂噪声混合表现出较强韧性，尤其在应用去噪技术后，表明未来可与语音增强技术集成。