[论文解读] CNN self-attention voice activity detector

Amit Sofer, Shlomo E. Chazan|arXiv (Cornell University)|Mar 6, 2022

Speech and Audio Processing被引用 4

一句话总结

本文提出了一种新颖的CNN自注意力语音活动检测（VAD）模型，该模型结合卷积神经网络（CNN）进行空间特征提取与自注意力（SA）编码器进行长程上下文建模。通过一次性处理整个输入信号，该模型在真实世界基准测试中实现了最先进（SOTA）性能，且架构轻量化、高效，优于独立的CNN和SA模型。

ABSTRACT

In this work we present a novel single-channel Voice Activity Detector (VAD) approach. We utilize a Convolutional Neural Network (CNN) which exploits the spatial information of the noisy input spectrum to extract frame-wise embedding sequence, followed by a Self Attention (SA) Encoder with a goal of finding contextual information from the embedding sequence. Different from previous works which were employed on each frame (with context frames) separately, our method is capable of processing the entire signal at once, and thus enabling long receptive field. We show that the fusion of CNN and SA architectures outperforms methods based solely on CNN and SA. Extensive experimental-study shows that our model outperforms previous models on real-life benchmarks, and provides State Of The Art (SOTA) results with relatively small and lightweight model.

研究动机与目标

• 解决传统信号处理方法和基于深度学习的VAD方法在噪声和混响环境中性能受限的问题。
• 克服先前基于CNN和RNN的VAD模型在感受野受限和顺序处理方面的局限。
• 通过联合利用CNN的空间特征与自注意力机制的长程时序依赖关系，提升性能。
• 开发一种计算高效、端到端的VAD系统，能够一次性处理完整长度的信号。
• 在真实世界、多样化的音频基准上展示SOTA性能，且采用轻量化架构。

提出的方法

• 模型使用CNN编码器从噪声单通道输入的梅尔频谱图中提取帧级嵌入，保留输入长度和空间结构。
• 生成的嵌入序列输入至自注意力（SA）编码器，通过计算所有帧之间的注意力权重，建模长程上下文依赖关系。
• SA编码器对整个序列计算查询-键-值注意力，使每一帧能够关注整个信号中的相关帧。
• 最终的全连接（FC）层生成最终的VAD输出，估计每帧语音存在的概率。
• 模型采用端到端训练方式，使用带标签的语音/噪声帧的交叉熵损失进行优化。
• 该架构设计为一次性处理整个输入信号，从而在无需分段的情况下实现大的有效感受野。

实验结果

研究问题

• RQ1 混合CNN-自注意力架构是否能在语音活动检测中优于独立的CNN或自注意力模型？
• RQ2 与短段处理相比，一次性处理整个输入信号是否能提升在噪声和混响环境下的VAD性能？
• RQ3 与局部或顺序建模相比，自注意力机制在VAD中对长程上下文建模的增强程度如何？
• RQ4 该模型在真实世界、多样化的音频基准上与最先进VAD系统相比表现如何？
• RQ5 轻量化、单流架构是否能在不依赖复杂后处理或多阶段设计的情况下实现SOTA性能？

主要发现

• 所提出的CNN-自注意力模型在真实世界基准（包括LibriSpeech、TIMIT和NIST数据集）上实现了最先进（SOTA）性能。
• 在LibriSpeech测试集上，当处理整个输入序列时，该模型的EER为5.05%，AUC为99.02%，优于FCNN（11.68%/95.7%）和仅SA模型（10.41%/96.62%）。
• 在Park测试集上，该模型的AUC达到99.04%，比次优模型（98.80%）高出0.24个百分点。
• 消融实验表明，CNN与SA组件的融合性能优于任一组件单独使用，完整模型在LibriSpeech上相比FCNN基线将EER降低超过50%。
• 注意力可视化显示，即使在远距离，模型也能正确关注相关语音帧，同时最小化对非平稳噪声和瞬态事件的关注。
• 该模型保持高效率，仅使用560K参数即实现SOTA性能，且通过一次前向传播处理整个信号，实现长程上下文建模而无需分段。