[论文解读] Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map

Seong-Hu Kim, Hyeonuk Nam+1 more|arXiv (Cornell University)|Mar 29, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出分解时序动态卷积神经网络（DTDY-CNN），一种高效、轻量的架构，通过矩阵分解将时序自适应卷积核分解为静态与动态残差组件，从而提升文本无关说话人验证性能。该方法在LibriTTS数据集上实现0.96%的EER，同时将模型大小减少64%，优于先前最先进模型，且通过说话人激活图（SAM）实现可解释性，可视化对说话人区分至关重要的频谱特征。

ABSTRACT

To extract accurate speaker information for text-independent speaker verification, temporal dynamic CNNs (TDY-CNNs) adapting kernels to each time bin was proposed. However, model size of TDY-CNN is too large and the adaptive kernel's degree of freedom is limited. To address these limitations, we propose decomposed temporal dynamic CNNs (DTDY-CNNs) which forms time-adaptive kernel by combining static kernel with dynamic residual based on matrix decomposition. Proposed DTDY-ResNet-34(x0.50) using attentive statistical pooling without data augmentation shows EER of 0.96%, which is better than other state-of-the-art methods. DTDY-CNNs are successful upgrade of TDY-CNNs, reducing the model size by 64% and enhancing the performance. We showed that DTDY-CNNs extract more accurate frame-level speaker embeddings as well compared to TDY-CNNs. Detailed behaviors of DTDY-ResNet-34(x0.50) on extraction of speaker information were analyzed using speaker activation map (SAM) produced by modified gradient-weighted class activation mapping (Grad-CAM) for speaker verification. DTDY-ResNet-34(x0.50) effectively extracts speaker information from not only formant frequencies but also high frequency information of unvoiced phonemes, thus explaining its outstanding performance on text-independent speaker verification.

研究动机与目标

• 为解决现有时序动态CNN（TDY-CNN）在文本无关说话人验证中模型过大与参数效率有限的问题。
• 通过将时序自适应卷积核分解为静态与动态残差组件，提升其表征能力。
• 通过基于梯度加权类别激活映射（Grad-CAM）的新颖说话人激活图（SAM）实现模型可解释性。
• 在无需数据增强的情况下实现说话人验证的最先进性能，尤其在具有挑战性的文本无关基准上。

提出的方法

• DTDY-CNN通过结合共享静态核与通过矩阵分解学习的动态残差组件，构建时序自适应核。
• 动态残差按时间帧独立计算，使网络能够自适应地强调时间序列中不同的频谱区域。
• 该架构采用修改后的ResNet-34主干网络，并使用宽度乘数x0.50，以减少FLOPs与模型大小，同时保持性能。
• 应用基于注意力的统计池化层，将帧级嵌入聚合为话语级表示。
• 通过改进的Grad-CAM技术生成说话人激活图（SAM），以可视化对说话人区分贡献最大的频谱图区域。
• 该方法在LibriTTS上端到端训练，无需数据增强，专注于学习鲁棒且可泛化的说话人嵌入。

实验结果

研究问题

• RQ1 分解核机制是否能在保持或提升文本无关说话人验证性能的同时，减少时序动态CNN的参数量？
• RQ2 DTDY-CNN中的动态残差组件如何在不同时间帧间自适应调整，以提升说话人嵌入质量？
• RQ3 哪些频谱区域对说话人区分最具显著性？能否通过可解释的激活图进行可视化？
• RQ4 所提方法是否在不依赖数据增强技术的情况下实现最先进性能？
• RQ5 高频分量与共振峰区域在所提架构中的说话人验证中贡献程度如何？

主要发现

• DTDY-ResNet-34(x0.50)在LibriTTS测试集上实现0.96%的等错误率（EER），优于所有先前最先进方法，且无需数据增强。
• 与原始TDY-CNN相比，该模型将参数量减少64%，显著提升效率。
• 通过激活图分析确认，DTDY-CNN提取的帧级说话人嵌入比TDY-CNN更具准确性和判别性。
• 说话人激活图（SAM）显示，模型有效利用了共振峰频率与清音音素的高频能量进行说话人区分。
• 动态残差组件实现时间帧间的细粒度自适应，使网络能在不同语音位置聚焦于特定说话人的频谱线索。
• 该方法在无数据增强的纯净训练环境下表现出强鲁棒性与泛化能力，实现顶尖性能。