[论文解读] Exploiting Adapters for Cross-lingual Low-resource Speech Recognition

Wenxin Hou, Zhu Han+5 more|arXiv (Cornell University)|May 18, 2021

Speech Recognition and Synthesis被引用 9

一句话总结

本文提出 MetaAdapter 和 SimAdapter，这两种基于适配器的参数高效方法分别利用元学习和注意力驱动的相似性建模，用于跨语言低资源语音识别。在五种低资源语言上的实验表明，仅使用全微调参数量的 2.5% 和 15.5% 时，相对 WER 分别降低 2.98% 和 2.55%，联合使用可实现最高达 3.55% 的相对 WER 改进。

ABSTRACT

Cross-lingual speech adaptation aims to solve the problem of leveraging multiple rich-resource languages to build models for a low-resource target language. Since the low-resource language has limited training data, speech recognition models can easily overfit. In this paper, we propose to use adapters to investigate the performance of multiple adapters for parameter-efficient cross-lingual speech adaptation. Based on our previous MetaAdapter that implicitly leverages adapters, we propose a novel algorithms called SimAdapter for explicitly learning knowledge from adapters. Our algorithm leverages adapters which can be easily integrated into the Transformer structure.MetaAdapter leverages meta-learning to transfer the general knowledge from training data to the test language. SimAdapter aims to learn the similarities between the source and target languages during fine-tuning using the adapters. We conduct extensive experiments on five-low-resource languages in Common Voice dataset. Results demonstrate that our MetaAdapter and SimAdapter methods can reduce WER by 2.98% and 2.55% with only 2.5% and 15.5% of trainable parameters compared to the strong full-model fine-tuning baseline. Moreover, we also show that these two novel algorithms can be integrated for better performance with up to 3.55% relative WER reduction.

研究动机与目标

• 解决因训练数据有限导致在低资源语音识别中出现过拟合的问题。
• 通过利用适配器实现参数高效的微调，提升跨语言迁移效率。
• 通过注意力机制显式建模源语言与目标语言之间的语言相似性。
• 整合元学习与基于相似性的适配，以提升性能。
• 评估在低资源场景下的参数效率、训练速度和推理延迟。

提出的方法

• MetaAdapter 使用模型无关的元学习（MAML）来隐式学习跨语言可迁移的语音表征。
• SimAdapter 通过注意力机制显式建模跨语言相似性，该机制在微调过程中融合多个源语言适配器。
• 两种方法均在 Transformer 编码器和解码器层中插入适配器，冻结主干模型，仅训练适配器参数。
• 在 SimAdapter 中引入引导损失，以促使注意力机制在训练过程中聚焦于目标语言适配器。
• 两种方法兼容，可联合应用以进一步提升性能。
• 消融实验评估了不同适配器层和融合策略的贡献。

Figure 1: Illustration of the cross-lingual speech recognition task. Given three rich-resource languages as source languages (Italian, Welsh, and Russian), how to learn the transferable knowledge from them to build cross-lingual ASR models for the target language Romanian?

实验结果

研究问题

• RQ1 基于元学习的适配器微调能否在极低资源语言上提升性能？
• RQ2 通过注意力机制显式建模源语言与目标语言之间的语言相似性，能否提升跨语言自动语音识别性能？
• RQ3 在不同编码器和解码器层上，适配器融合的性能表现如何变化？
• RQ4 在基于适配器的跨语言迁移中，参数效率、训练速度与推理延迟之间存在何种权衡？
• RQ5 将 MetaAdapter 与 SimAdapter 联合使用能否获得优于单独使用任一方法的性能？

主要发现

• MetaAdapter 仅使用全微调可训练参数的 2.5%，相对 WER 降低 2.98%。
• SimAdapter 使用全微调可训练参数的 15.5%，相对 WER 降低 2.55%。
• MetaAdapter 与 SimAdapter 联合使用可实现最高达 3.55% 的相对 WER 改进，表明二者具有互补优势。
• 在更多层上融合适配器通常能提升性能，尽管对于布列塔尼语等某些语言，仅融合底层适配器已足够。
• 与全微调相比，MetaAdapter 将训练时间减少了 43.48%；SimAdapter 的推理 RTF 增加了 22.12%，但仍在可接受范围内。
• 注意力图显示，加入引导损失后，SimAdapter 层对目标语言适配器的关注度逐渐增强，证实了来自目标语言的有效知识蒸馏。

Figure 2: Illustration of the MetaAdapter and SimAdapter module injected in the Speech-Transformer. Note that the residual connection between the feed-forward layer and layer normalization only applies to the SimAdapter.