[论文解读] Light Convolutional Neural Network with Feature Genuinization for Detection of Synthetic Speech Attacks

Zhenzong Wu, Rohan Kumar Das+2 more|arXiv (Cornell University)|Sep 21, 2020

Speech Recognition and Synthesis参考文献 31被引用 13

一句话总结

本文提出一种轻量级卷积神经网络（LCNN），结合特征真实化方法，用于在自动说话人验证中检测合成语音攻击。通过仅使用真实语音特征训练一个Transformer模型，以保留其分布特性，同时扭曲伪造语音，该方法增强了判别能力，在ASVspoof 2019逻辑访问语料库上实现了4.07%的EER，优于当前最先进的单系统方法。

ABSTRACT

Modern text-to-speech (TTS) and voice conversion (VC) systems produce natural sounding speech that questions the security of automatic speaker verification (ASV). This makes detection of such synthetic speech very important to safeguard ASV systems from unauthorized access. Most of the existing spoofing countermeasures perform well when the nature of the attacks is made known to the system during training. However, their performance degrades in face of unseen nature of attacks. In comparison to the synthetic speech created by a wide range of TTS and VC methods, genuine speech has a more consistent distribution. We believe that the difference between the distribution of synthetic and genuine speech is an important discriminative feature between the two classes. In this regard, we propose a novel method referred to as feature genuinization that learns a transformer with convolutional neural network (CNN) using the characteristics of only genuine speech. We then use this genuinization transformer with a light CNN classifier. The ASVspoof 2019 logical access corpus is used to evaluate the proposed method. The studies show that the proposed feature genuinization based LCNN system outperforms other state-of-the-art spoofing countermeasures, depicting its effectiveness for detection of synthetic speech attacks.

研究动机与目标

• 为解决检测由多样化、未见过的TTS和VC系统生成的合成语音攻击的挑战。
• 通过利用真实语音与合成语音之间的分布差异，提升对抗伪造攻击方法在已知攻击类型之外的泛化能力。
• 开发一种鲁棒且轻量级的检测系统，适用于真实世界ASV系统中的部署。
• 证明通过特征真实化建模真实语音分布可提升伪造检测性能。

提出的方法

• 使用仅真实语音特征训练一个特征真实化Transformer，以学习真实语音的内在分布特性。
• 真实化Transformer将真实特征映射到一个保留其统计特性的域，同时扭曲伪造特征以放大其偏离程度。
• 将变换后的特征输入轻量级CNN（LCNN）分类器进行伪造检测。
• 在ASVspoof 2019逻辑访问语料库上评估该方法，采用t-DCF和EER作为评价指标。
• 进行对比实验，使用在伪造语音上训练的伪造Transformer，其性能劣于所提方法。
• 将系统与多种最先进的单系统方法进行比较，涵盖不同前端特征和分类器。

实验结果

研究问题

• RQ1 建模真实语音分布是否能提升对未见过的合成语音攻击的检测能力？
• RQ2 特征真实化——即学习一种保留真实特征而扭曲伪造特征的变换——是否能提升伪造对抗措施的性能？
• RQ3 所提出的FG-LCNN系统在ASVspoof 2019逻辑访问基准上与现有最先进的单系统相比表现如何？
• RQ4 轻量级CNN分类器在伪造检测中是否能从基于真实化特征变换中显著获益？

主要发现

• 所提出的FG-LCNN系统在ASVspoof 2019逻辑访问评估集上实现了4.07%的等错误率（EER），优于挑战中报告的所有单系统。
• 系统获得t-DCF为0.102，是所有对比单系统中的最低值，表明在减少误报和漏报方面表现更优。
• 使用伪造Transformer（FS-LCNN）的对比实验显示性能劣于基线LCNN和所提FG-LCNN，验证了真实语音建模的有效性。
• 特征真实化方法通过利用真实样本分布的一致性，有效放大了真实与合成语音之间的判别差距。
• 基于LCNN的系统结合特征真实化，相比前端方法及其他深度学习分类器（包括ResNet和DNN变体）更具鲁棒性。