[论文解读] Darts-Conformer: Towards Efficient Gradient-Based Neural Architecture Search For End-to-End ASR

Xian Shi, Pan Zhou+2 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Neural Network Applications参考文献 32被引用 6

一句话总结

本文提出 Darts-Conformer，一种可微神经架构搜索方法，通过将 DARTS 优化器与 Conformer 模块融合，自动发现高效且高性能的端到端自动语音识别（ASR）模型。该方法在仅消耗 0.7 GPU 天搜索时间的前提下，相较于基线 Conformer 模型在 AISHELL-1 数据集上实现了 4.7% 的相对字符错误率（CER）降低，证明了在端到端语音识别中高效、基于梯度的神经架构搜索的有效性。

ABSTRACT

Neural architecture search (NAS) has been successfully applied to tasks like image classification and language modeling for finding efficient high-performance network architectures. In ASR field especially end-to-end ASR, the related research is still in its infancy. In this work, we focus on applying NAS on the most popular manually designed model: Conformer, and then propose an efficient ASR model searching method that benefits from the natural advantage of differentiable architecture search (Darts) in reducing computational overheads. We fuse Darts mutator and Conformer blocks to form a complete search space, within which a modified architecture called Darts-Conformer cell is found automatically. The entire searching process on AISHELL-1 dataset costs only 0.7 GPU days. Replacing the Conformer encoder by stacking searched cell, we get an end-to-end ASR model (named as Darts-Conformner) that outperforms the Conformer baseline by 4.7\% on the open-source AISHELL-1 dataset. Besides, we verify the transferability of the architecture searched on a small dataset to a larger 2k-hour dataset. To the best of our knowledge, this is the first successful attempt to apply gradient-based architecture search in the attention-based encoder-decoder ASR model.

研究动机与目标

• 通过将可微神经架构搜索（DARTS）应用于 Conformer 架构，实现高效端到端 ASR 模型的自动化设计。
• 降低传统神经架构搜索在自动语音识别中通常面临的高计算成本。
• 探索在小规模数据集上搜索得到的架构向更大规模 ASR 数据集的可迁移性。
• 在减少人工架构设计工作量的同时，保持或提升基于 Conformer 模型的性能。

提出的方法

• 将 Conformer 块中的四个模块——两个前馈网络、一个卷积模块和一个多头注意力模块——视为可微有向无环图（DAG）中的节点，构建搜索空间。
• 采用改进的 DARTS 优化器，联合搜索候选操作与节点之间的连接，实现架构参数的连续松弛。
• 通过双层优化策略同时优化架构参数与网络权重，利用梯度下降高效探索架构空间。
• 通过将搜索得到的 Darts-Conformer 单元堆叠六次，构建完整的六层编码器，解码器与基线模型保持一致。
• 采用一个超网络（supernet）联合训练所有候选操作与连接，实现在无需从头训练单个架构的前提下高效完成架构搜索。
• 搜索过程在 AISHELL-1 数据集上进行，所得到的架构在 AISHELL-1 和更大规模的 Sogou-2k 数据集上进行评估，以检验其可迁移性。

实验结果

研究问题

• RQ1 可微神经架构搜索（DARTS）能否有效应用于端到端自动语音识别模型，特别是 Conformer 架构？
• RQ2 所提出的 Darts-Conformer 方法在搜索成本方面有多高效？是否能在性能上超越人工设计的模型？
• RQ3 在小规模数据集（如 AISHELL-1）上搜索得到的架构是否能良好泛化到更大、更复杂的语音识别数据集（如 Sogou-2k）？
• RQ4 每个被搜索的组件（如注意力头数、卷积核大小、跳跃连接等）对最终模型性能的贡献如何？

主要发现

• 与基线 Conformer 模型相比，Darts-Conformer 在 AISHELL-1 测试集上实现了 4.7% 的相对字符错误率（CER）降低，CER 从 6.4% 降至 6.1%。
• 搜索过程仅耗时 0.7 GPU 天，相比以往 NAS 方法动辄数千 GPU 天的计算成本，显著降低了资源消耗。
• 消融实验表明，若移除输入候选或所选操作（如 4 头注意力与小卷积核大小），性能将下降，证实了所搜索组件的重要性。
• 所搜索架构具有良好的泛化能力：在 Sogou-2k 数据集上，Darts-Conformer 在 Clean 和 Noisy 测试集上分别优于基线模型（10.6% vs. 10.9% 和 7.2% vs. 7.5%），在 Far-field 测试集上性能相当。
• 参数量为 2681 万的 Darts-Conformer 模型优于参数量更大的基线模型（2767 万参数，且注意力维度更高），表明其具有更高的参数效率。
• 结果验证了基于梯度的 NAS 能够有效发现性能更优的 ASR 架构，而无需人工参与架构设计。