[논문 리뷰] Exploiting Adapters for Cross-lingual Low-resource Speech Recognition

Wenxin Hou, Zhu Han외 5명|arXiv (Cornell University)|2021. 05. 18.

Speech Recognition and Synthesis인용 수 9

한 줄 요약

이 논문은 메타학습과 주목력 기반 유사도 모델링을 각각 활용하는 파rameter 효율적인 어댑터 기반 방법인 MetaAdapter와 SimAdapter를 제안한다. 다국어 저자원 음성 인식에 적용되며, 다섯 가지 저자원 언어에서의 실험 결과, 전체 미세조정 대비 훈련 가능 파라미터의 2.5%와 15.5%만을 사용함에도 불구하고 각각 2.98%와 2.55%의 상대적 WER 감소를 달성하였고, 통합 적용 시 최대 3.55%의 상대적 WER 향상을 이룩하였다.

ABSTRACT

Cross-lingual speech adaptation aims to solve the problem of leveraging multiple rich-resource languages to build models for a low-resource target language. Since the low-resource language has limited training data, speech recognition models can easily overfit. In this paper, we propose to use adapters to investigate the performance of multiple adapters for parameter-efficient cross-lingual speech adaptation. Based on our previous MetaAdapter that implicitly leverages adapters, we propose a novel algorithms called SimAdapter for explicitly learning knowledge from adapters. Our algorithm leverages adapters which can be easily integrated into the Transformer structure.MetaAdapter leverages meta-learning to transfer the general knowledge from training data to the test language. SimAdapter aims to learn the similarities between the source and target languages during fine-tuning using the adapters. We conduct extensive experiments on five-low-resource languages in Common Voice dataset. Results demonstrate that our MetaAdapter and SimAdapter methods can reduce WER by 2.98% and 2.55% with only 2.5% and 15.5% of trainable parameters compared to the strong full-model fine-tuning baseline. Moreover, we also show that these two novel algorithms can be integrated for better performance with up to 3.55% relative WER reduction.

연구 동기 및 목표

• 제한된 훈련 데이터로 인한 과적합 문제를 해결하기 위해.
• 어댑터를 활용한 파라미터 효율적인 미세조정을 통해 다국어 간 전이 효율성을 향상시키기 위해.
• 주목력 기반 기법을 사용해 원천 언어와 목표 언어 간 언어적 유사성을 명시적으로 모델링하기 위해.
• 메타학습과 유사도 기반 적응을 통합하여 성능을 향상시키기 위해.
• 저자원 환경에서의 파라미터 효율성, 훈련 속도, 추론 지연 시간을 평가하기 위해.

제안 방법

• MetaAdapter는 모델에 종속되지 않는 메타학습(MAML)을 사용하여 다양한 언어 간 이식 가능한 음성 표현을 암묵적으로 학습한다.
• SimAdapter는 훈련 중에 여러 원천 어댑터를 융합하는 주목력 기반 기법을 통해 다국어 간 유사성을 명시적으로 모델링한다.
• 두 방법 모두 주어진 모델의 백본은 동결하고 어댑터 파라미터만 훈련하기 위해 트랜스포머 인코더 및 디코더 레이어에 어댑터를 삽입한다.
• SimAdapter에서는 훈련 중에 주목력이 목표 언어 어댑터에 집중하도록 유도하기 위해 가이드 손실을 도입한다.
• 이 방법들은 상호 호환되며, 성능 향상을 위해 함께 적용할 수 있다.
• 제거 실험을 통해 다양한 어댑터 레이어와 융합 전략의 기여도를 평가한다.

Figure 1: Illustration of the cross-lingual speech recognition task. Given three rich-resource languages as source languages (Italian, Welsh, and Russian), how to learn the transferable knowledge from them to build cross-lingual ASR models for the target language Romanian?

실험 결과

연구 질문

• RQ1 메타학습 기반 어댑터 적응은 극도로 저자원 언어에서 성능 향상을 이끌 수 있는가?
• RQ2 주목력 기반 기법을 통해 원천 언어와 목표 언어 간 언어적 유사성을 명시적으로 모델링하면 다국어 음성 인식 성능이 향상되는가?
• RQ3 다양한 인코더 및 디코더 레이어에서 어댑터 융합의 성능은 어떻게 달라지는가?
• RQ4 어댑터 기반 다국어 간 전이에서 파라미터 효율성, 훈련 속도, 추론 지연 시간 간의 상호 상충 관계는 어떠한가?
• RQ5 MetaAdapter와 SimAdapter를 결합하면 개별적으로 사용할 경우보다 더 나은 성능을 낼 수 있는가?

주요 결과

• MetaAdapter는 전체 미세조정 대비 훈련 가능 파라미터의 2.5%만을 사용하면서도 WER을 2.98% 상대적으로 감소시켰다.
• SimAdapter는 전체 미세조정 기준 훈련 가능 파라미터의 15.5%만을 사용하면서도 WER을 2.55% 상대적으로 감소시켰다.
• MetaAdapter와 SimAdapter의 조합은 최대 3.55%의 상대적 WER 향상을 달성하여 상호보완적 이점을 입증하였다.
• 더 많은 레이어에서 어댑터를 융합할수록 일반적으로 성능 향상이 이루어지지만, 브르타뉴어와 같이 일부 언어에서는 하단 레이어만 융합해도 충분한 성능 향상을 기대할 수 있었다.
• MetaAdapter는 전체 미세조정 대비 훈련 시간을 43.48% 감소시켰고, SimAdapter는 추론 RTF를 22.12% 증가시켰지만 여전히 수용 가능한 수준이었다.
• 주목력 맵을 통해 SimAdapter 레이어가 가이드 손실을 통해 목표 언어 어댑터에 점점 더 집중하는 것을 확인하였으며, 이는 목표 언어로부터 효과적인 지식 전이가 이루어졌음을 확인한다.

Figure 2: Illustration of the MetaAdapter and SimAdapter module injected in the Speech-Transformer. Note that the residual connection between the feed-forward layer and layer normalization only applies to the SimAdapter.