[논문 리뷰] Accent-Robust Automatic Speech Recognition Using Supervised and Unsupervised Wav2vec Embeddings

Jialu Li, Vimal Manohar외 6명|arXiv (Cornell University)|2021. 10. 07.

Speech Recognition and Synthesis참고 문헌 29인용 수 11

한 줄 요약

이 논문은 도메인 적응 학습(DAT)과 다중 작업 학습(MTL)을 활용한 음성 인식(ASR)에서 강건한 발음 특성 학습을 제안한다. 이는 감독 학습과 비감독 학습을 통한 wav2vec 임베딩을 사용한다. 실험 결과, 감독 학습 임베딩을 사용한 DAT가 전체적으로 가장 뛰어난 성능을 보였으며, wav2vec 임베딩을 사용한 MTL은 새로운 발음에 대해 뛰어난 성능을 보였고, 레이블이 손상되거나 존재하지 않을 경우 wav2vec 임베딩이 레이블 기반 임베딩보다 우수한 성능을 보였다.

ABSTRACT

Speech recognition models often obtain degraded performance when tested on speech with unseen accents. Domain-adversarial training (DAT) and multi-task learning (MTL) are two common approaches for building accent-robust ASR models. ASR models using accent embeddings is another approach for improving robustness to accents. In this study, we perform systematic comparisons of DAT and MTL approaches using a large volume of English accent corpus (4000 hours of US English speech and 1244 hours of 20 non-US-English accents speech). We explore embeddings trained under supervised and unsupervised settings: a separate embedding matrix trained using accent labels, and embeddings extracted from a fine-tuned wav2vec model. We find that our DAT model trained with supervised embeddings achieves the best performance overall and consistently provides benefits for all testing datasets, and our MTL model trained with wav2vec embeddings are helpful learning accent-invariant features and improving novel/unseen accents. We also illustrate that wav2vec embeddings have more advantages for building accent-robust ASR when no accent labels are available for training supervised embeddings.

연구 동기 및 목표

• 저자원 환경에서 다양한 영어 발음, 특히 새로운 발음에 대해 ASR의 강건성을 향상시키기 위해.
• DAT와 MTL를 활용한 감독 학습 및 비감독 학습 wav2vec 임베딩의 시스템적 비교를 통해 발음 강건한 ASR에서의 성능을 분석하기 위해.
• 레이블 품질이 감독 학습 임베딩에 미치는 영향과, 레이블이 신뢰할 수 없거나 존재하지 않을 경우 비감독 학습 wav2vec 임베딩의 이점 평가를 위해.
• wav2vec 임베딩가 명시적인 발음 레이블 없이도 발음 불변 표현을 효과적으로 학습할 수 있는지 조사하기 위해.

제안 방법

• 도메인 적응 학습(DAT)을 통해 다양한 발음 간의 구분 가능성을 최소화함으로써 발음 불변 표현을 학습하는 트랜스포머 기반 CTC ASR 모델을 훈련한다.
• 다중 작업 학습(MTL)을 적용하여 ASR 모델과 보조 발음 분류 헤드를 동시에 훈련함으로써 분리된, 발음 불변 특징을 유도한다.
• 감독 학습 임베딩은 진짜 발음 레이블에 기반한 별도의 임베딩 매트릭스를 통해 학습되며, 비감독 학습 wav2vec 임베딩은 미세조정된 wav2vec 2.0 모델에서 추출된다.
• 입력 임베딩과 음성 특징을 결합하기 위해 연결(concatenation) 및 가중 합(weighted sum) 융합 전략을 사용한다.
• 특히 미국 외 발음에 대해 지역적 유사성에 기반해 레이블을 재할당함으로써 일반화 성능을 향상시키기 위해 발음 재할당 기법을 적용한다.
• 제거 분석(ablation study)을 통해 레이블 오염(10–50%)을 시뮬레이션하고, wav2vec 임베딩와의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 감독 학습 임베딩을 사용한 도메인 적응 학습(DAT)이 동일한 임베딩을 사용한 다중 작업 학습(MTL)보다 발음 강건한 ASR에서 성능이 뛰어나게 되는가?
• RQ2 비감독 학습 wav2vec 임베딩을 사용할 경우 감독 학습 레이블 기반 임베딩과 비교해 새로운 발음과 레이블 노이즈에 대해 얼마나 강건한가?
• RQ3 진짜 발음 레이블이 부분적으로 손상되거나 존재하지 않을 경우 wav2vec 임베딩을 사용함으로써 얻는 성능 향상은 어느 정도인가?
• RQ4 발음 재할당 기법이 DAT 및 MTL 아키텍처에서 미국 외 영어 발음에 대해 일반화 성능을 향상시키는가?
• RQ5 wav2vec 임베딩가 명시적인 발음 레이블 없이도 효과적으로 발음 불변 표현을 학습할 수 있는가?

주요 결과

• 감독 학습 임베딩을 사용한 DAT 모델이 미국 외 발음에서 16.4%의 WER를 기록하며 전체적으로 가장 뛰어난 성능을 보였다. 전체 WER는 17.3%였다.
• wav2vec 임베딩을 사용한 MTL 모델(MTL2-w2v(S))은 새로운 발음에서 가장 뛰어난 성능을 보였으며, WER는 16.3%로 베이스라인 대비 우수했다.
• 훈련 레이블의 10–25%가 오염된 경우 wav2vec 임베딩가 항상 레이블 기반 임베딩보다 뛰어났다. 레이블 오염률 25%일 경우 레이블 기반 임베딩의 WER는 17.3%로 상승했고, wav2vec의 WER 역시 17.3%로 유지되었다.
• 발음 재할당 기법은 미국 외 발음에서 성능 향상을 이끌었으며, 특히 DAT3-w2v(S) 및 MTL3-w2v(S)에서 최대 0.3%의 WER 향상이 관찰되었다.
• 미사전 훈련 임베딩이 en_us 임베딩보다 새로운 발음에서 더 뛰어난 성능을 보였으며, 이는 사전 훈련된 wav2vec 표현이 단일 발음에서 미세조정된 임베딩보다 더 잘 일반화된다는 것을 시사한다.
• 제거 분석 결과, wav2vec 임베딩가 레이블 노이즈 상황에서 더 강건함을 확인했으며, 레이블 오염률 50%일 경우 wav2vec의 WER는 17.3%로 안정을 유지했다.