[논문 리뷰] MixSpeech: Data Augmentation for Low-resource Automatic Speech Recognition

Linghui Meng, Jin Xu외 4명|arXiv (Cornell University)|2021. 02. 25.

Speech Recognition and Synthesis참고 문헌 28인용 수 6

한 줄 요약

MixSpeech는 저자원 음성 인식(ASR)을 위한 새로운 데이터 증강 방법으로, 혼합된 음성 특징(예: 멜스펙트로그램)에 대해 두 문장을 가중 평균으로 조합하면서, 동일한 손실 가중치를 사용해 해당하는 텍스트 번역을 동시에 학습한다. TIMIT에서 SpecAugment 대비 10.6% 상대적인 성능 향상을 기록하고 WSJ에서 4.7%의 WER를 달성하여 기존 기준선 및 증강 기법을 능가한다.

ABSTRACT

In this paper, we propose MixSpeech, a simple yet effective data augmentation method based on mixup for automatic speech recognition (ASR). MixSpeech trains an ASR model by taking a weighted combination of two different speech features (e.g., mel-spectrograms or MFCC) as the input, and recognizing both text sequences, where the two recognition losses use the same combination weight. We apply MixSpeech on two popular end-to-end speech recognition models including LAS (Listen, Attend and Spell) and Transformer, and conduct experiments on several low-resource datasets including TIMIT, WSJ, and HKUST. Experimental results show that MixSpeech achieves better accuracy than the baseline models without data augmentation, and outperforms a strong data augmentation method SpecAugment on these recognition tasks. Specifically, MixSpeech outperforms SpecAugment with a relative PER improvement of 10.6$\%$ on TIMIT dataset, and achieves a strong WER of 4.7$\%$ on WSJ dataset.

연구 동기 및 목표

• 저자원 음성 인식(ASR)에서 레이블이 부족한 훈련 데이터 문제를 해결하기 위해 더 효과적인 데이터 증강 전략을 도입하기 위해.
• SpecAugment와 같은 기존 증강 기법의 한계를 극복하기 위해, 특히 철저한 초모수 조정이 필요하고 대조 신호가 부족한 점을 해결하기 위해.
• 원래 분류 작업을 위해 개발된 혼합 기법(mixup)을, 입력과 출력이 순차적이고 길이가 가변적인 시퀀스 생성 작업인 ASR에 적응시키기 위해.
• 훈련 중에 두 개의 서로 다른 음성 입력을 혼합함으로써 대조 신호를 도입하여 모델의 일반화 능력을 향상시키기 위해.
• 최소한의 초모수를 가진 단순하고 강력한 증강 방법을 개발하여 다양한 저자원 데이터셋에서 성능 향상을 이루기 위해.

제안 방법

• MixSpeech는 베타 분포로부터 유도된 혼합 계수 λ를 사용해 두 음성 특징(예: 멜스펙트로그램 또는 MFCC)을 가중 평균으로 조합하여 혼합 입력 X_mix = λX_i + (1−λ)X_j를 구성한다.
• 모델은 동일한 λ를 사용해 혼합 입력에서 유도된 손실 가중치를 적용하여, 원본 텍스트 번역 y_i와 y_j를 동시에 인식하도록 훈련된다.
• 표준 혼합 기법과 달리, MixSpeech는 타겟 시퀀스를 혼합하지 않으며, 대신 두 레이블을 별개로 사용하고 동일한 λ로 손실을 조합함으로써 레이블의 무결성을 유지한다.
• 훈련 중에는 미니배치 샘플의 비율 τ를 무작위로 선택해 혼합하고, 나머지는 기존 방식으로 훈련한다.
• 이 방법은 LAS 및 트랜스포머와 같은 엔드 투 엔드 ASR 모델과 호환되며, CTC와 교차 엔트로피 손실을 사용하는 다중 작업 학습 프레임워크와도 원활하게 통합된다.
• 이 방법은 복잡한 조정이 필요한 SpecAugment와 달리 단일 핵심 초모수 λ만을 사용해 평가된다.

실험 결과

연구 질문

• RQ1 혼합 기반 데이터 증강 기법이 길이가 가변적인 출력을 가지는 순차적 생성 작업인 음성 인식(ASR)에 효과적으로 적용될 수 있는가?
• RQ2 두 개의 서로 다른 문장을 혼합함으로써 대조 신호를 도입하면 저자원 환경에서 ASR의 일반화 능력이 향상되는가?
• RQ3 다양한 저자원 ASR 벤치마크에서 SpecAugment와 같은 기존 증강 기법과 비교해 MixSpeech의 성능은 어떠한가?
• RQ4 배치당 혼합 샘플 비율 τ를 변화시킬 경우 모델 성능과 내구성에 어떤 영향을 미치는가?
• RQ5 혼합 기법을 두 개 이상의 입력으로 확장(예: Tri-mixup)하면 성능 향상이 이루어지는가, 아니면 신호 과다 혼합으로 인해 성능 저하가 발생하는가?

주요 결과

• TIMIT 데이터셋에서 MixSpeech는 19.5%의 페인트 오류율(PER)을 기록하여 SpecAugment의 20.5% 대비 10.6% 상대적 향상과 기준선 21.8% 대비 1.3% 절대적 향상을 달성한다.
• WSJ 데이터셋에서 MixSpeech는 단어 오류율(WER)을 4.7%로 줄여 기준선(5.9%)과 SpecAugment(5.4%)를 모두 능가한다.
• HKUST 중국어 매파이어스 데이터셋에서 MixSpeech는 WER 22.9%를 기록하여 기준선(23.9%)과 SpecAugment(23.5%)를 초월한다.
• 혼합 비율 τ에 대해 MixSpeech의 성능은 강인하며, τ를 15%에서 30%로 증가시켜도 PER가 22.0% 이하로 유지된다.
• 세 개의 입력으로 확장한 Tri-mixup는 성능이 심각하게 저하되며(PER: 35.8%), 과다 혼합이 모델 학습에 악영향을 준다는 것을 시사한다.
• 노이즈 정규화는 도움이 되지만, MixSpeech는 TIMIT에서 21.8% PER을 기록하여 노이즈 정규화의 22.0% PER을 능가한다.