[论文解读] AutoSpeech: Neural Architecture Search for Speaker Recognition

Shaojin Ding, Tianlong Chen+3 more|arXiv (Cornell University)|May 7, 2020

Speech Recognition and Synthesis参考文献 37被引用 14

一句话总结

本文提出 AutoSpeech，一种神经架构搜索（NAS）框架，可自动发现适用于说话人识别的最优卷积神经网络（CNN）架构。通过搜索最优神经单元并将其堆叠形成完整模型，AutoSpeech 在 VoxCeleb1 数据集上实现了说话人识别与验证任务的最先进性能，优于 VGG-M、ResNet-18 和 ResNet-34，且参数量显著更少。

ABSTRACT

Speaker recognition systems based on Convolutional Neural Networks (CNNs) are often built with off-the-shelf backbones such as VGG-Net or ResNet. However, these backbones were originally proposed for image classification, and therefore may not be naturally fit for speaker recognition. Due to the prohibitive complexity of manually exploring the design space, we propose the first neural architecture search approach approach for the speaker recognition tasks, named as AutoSpeech. Our algorithm first identifies the optimal operation combination in a neural cell and then derives a CNN model by stacking the neural cell for multiple times. The final speaker recognition model can be obtained by training the derived CNN model through the standard scheme. To evaluate the proposed approach, we conduct experiments on both speaker identification and speaker verification tasks using the VoxCeleb1 dataset. Results demonstrate that the derived CNN architectures from the proposed approach significantly outperform current speaker recognition systems based on VGG-M, ResNet-18, and ResNet-34 back-bones, while enjoying lower model complexity.

研究动机与目标

• 为解决现成的 CNN 主干网络（如 VGG-M 和 ResNet）在说话人识别任务中表现欠佳的问题，这些网络原本为图像分类设计，而非语音任务。
• 自动化搜索专为文本无关说话人识别任务量身定制的最优 CNN 架构。
• 减少在庞大神经架构空间中手动、随意探索说话人识别架构的繁琐工作。
• 在提升说话人识别与验证性能的同时，最小化模型复杂度。

提出的方法

• 该方法采用可微分 NAS 方法，搜索包含多种操作（如深度可分离卷积、池化和跳跃连接）的最优神经单元。
• 搜索过程在 VoxCeleb1 的验证集上优化架构，采用可微分搜索空间与参数共享机制以加速训练。
• 通过多次堆叠搜索得到的神经单元构建最终 CNN 模型，支持可配置的深度（单元数量）和宽度（初始通道数）。
• 所得到的模型采用标准的说话人识别训练流程进行训练，包括 d-vector 提取与余弦相似度评分。
• 搜索空间包含 3×3 和 5×5 深度可分离卷积、最大池化、平均池化以及跳跃连接等操作。
• 最终模型使用 Adam 优化器训练，权重衰减为 3×10⁻⁴，并在单张 GPU 上运行约 1 天的余弦学习率调度。

实验结果

研究问题

• RQ1 神经架构搜索框架能否发现优于 VGG-M、ResNet-18 和 ResNet-34 等标准主干网络的 CNN 架构，用于说话人识别？
• RQ2 与现有手工设计的模型相比，所提出的 AutoSpeech 方法是否在更低模型复杂度下实现更优性能？
• RQ3 在扩展搜索到的架构时，增加通道数是否比增加堆叠的单元数更有效？
• RQ4 所搜索到的架构在说话人识别与说话人验证任务中的表现如何？

主要发现

• 由 AutoSpeech 搜索得到的模型（8 个单元，初始通道数为 128）在说话人识别任务中达到 87.66% 的 Top-1 准确率与 96.01% 的 Top-5 准确率，优于所有基线模型。
• 在说话人验证任务中，同一模型实现 8.95% 的等错误率（EER），相比 ResNet-34 提升 3.04 个百分点，且仅使用 1800 万个参数。
• 轻量化模型（8 个单元，64 个通道）在 Top-1 准确率上比 ResNet-34 提升 3.11 个百分点，在 EER 上提升 2.86 个百分点，参数量仅为 500 万个。
• 在参数量相近的前提下，增加通道数（N=8, C=128）比增加单元数（N=30, C=64）带来更显著的性能提升。
• 所有 AutoSpeech 模型在两项任务上均优于基线模型（VGG-M、ResNet-18、ResNet-34），证明 NAS 在说话人识别中的有效性。
• 搜索过程识别出包含深度可分离卷积、池化和跳跃连接的神经单元为学习说话人嵌入的最优组件。