[论文解读] Neural Architecture Search for Speech Recognition.

Shoukang Hu, Xurong Xie+4 more|arXiv (Cornell University)|Jul 17, 2020

Speech Recognition and Synthesis被引用 7

一句话总结

该论文提出了一种神经架构搜索（NAS）框架，用于自动优化分量时间延迟神经网络（TDNN-F）声学模型中的两个关键超参数：拼接上下文偏移量和瓶颈投影维数。通过在无网格MMI训练中应用DARTS、Gumbel-Softmax DARTS、Pipelined DARTS和Penalized DARTS，该方法在300小时Switchboard任务上相较于手动调优的基线模型，实现了1.0%的绝对词错误率降低和28%的模型尺寸减少。

ABSTRACT

Deep neural networks (DNNs) based automatic speech recognition (ASR) systems are often designed using expert knowledge and empirical evaluation. In this paper, a range of neural architecture search (NAS) techniques are used to automatically learn two hyper-parameters that heavily affect the performance and model complexity of state-of-the-art factored time delay neural network (TDNN-F) acoustic models: i) the left and right splicing context offsets; and ii) the dimensionality of the bottleneck linear projection at each hidden layer. These include the standard DARTS method fully integrating the estimation of architecture weights and TDNN parameters in lattice-free MMI (LF-MMI) training; Gumbel-Softmax DARTS that reduces the confusion between candidate architectures; Pipelined DARTS that circumvents the overfitting of architecture weights using held-out data; and Penalized DARTS that further incorporates resource constraints to adjust the trade-off between performance and system complexity. Parameter sharing among candidate architectures was also used to facilitate efficient search over up to $7^{28}$ different TDNN systems. Experiments conducted on a 300-hour Switchboard conversational telephone speech recognition task suggest the NAS auto-configured TDNN-F systems consistently outperform the baseline LF-MMI trained TDNN-F systems using manual expert configurations. Absolute word error rate reductions up to 1.0% and relative model size reduction of 28% were obtained.

研究动机与目标

• 自动化TDNN-F声学模型中关键超参数的配置，减少对手动专家调优的依赖。
• 通过联合优化拼接上下文偏移量和瓶颈投影维数，提升自动语音识别性能。
• 在NAS过程中引入资源约束，平衡模型准确率与复杂度。
• 通过参数共享，在高达7^28种不同TDNN配置的庞大搜索空间中实现高效搜索。
• 评估多种NAS变体在标准ASR基准上改进LF-MMI训练的TDNN-F系统的效果。

提出的方法

• 将可微分神经架构搜索框架DARTS应用于在无网格MMI（LF-MMI）训练过程中，联合优化架构权重（拼接上下文和瓶颈维度）与模型参数。
• 采用Gumbel-Softmax DARTS，通过支持候选操作的可微采样，减少架构混淆并提升搜索稳定性。
• 使用Pipelined DARTS结合保留数据，防止搜索过程中架构权重过拟合。
• 引入Penalized DARTS，显式施加资源约束，以平衡模型性能与复杂度。
• 通过在候选架构之间共享参数，大幅降低计算成本，实现对7^28规模搜索空间的搜索。
• 利用端到端LF-MMI训练的可微分神经架构搜索，实现对模型参数与架构参数的基于梯度的联合优化。

实验结果

研究问题

• RQ1 NAS能否有效自动化TDNN-F模型中拼接上下文偏移量和瓶颈维度的配置？
• RQ2 不同NAS变体（DARTS、Gumbel-Softmax DARTS、Pipelined DARTS、Penalized DARTS）在优化TDNN-F声学模型方面的表现如何比较？
• RQ3 与手动调优相比，NAS在保持或提升ASR性能的同时，能在多大程度上减少模型尺寸？
• RQ4 参数共享能否实现对高达7^28种可能TDNN配置的极大连锁搜索空间的高效搜索？
• RQ5 NAS是否在标准300小时Switchboard ASR基准上实现了词错误率的一致性改进？

主要发现

• NAS优化的TDNN-F系统相较于手动配置的基线模型，实现了最高达1.0%的绝对词错误率降低。
• NAS方法使模型尺寸相比基线减少了28%，展示了有效的复杂度控制能力。
• 所有NAS变体——尤其是Pipelined和Penalized DARTS——相比标准DARTS，均提升了泛化能力并减少了过拟合。
• 参数共享的使用使得在高达7^28种不同TDNN配置的搜索空间中实现高效搜索成为可能。
• NAS优化的模型在Switchboard 300小时数据集的多个评估指标上，始终优于专家调优的基线模型。
• Penalized DARTS通过在搜索过程中显式引入资源约束，成功平衡了性能与模型复杂度。