[논문 리뷰] Self-training and Pre-training are Complementary for Speech Recognition

Qiantong Xu, Alexei Baevski외 6명|arXiv (Cornell University)|2020. 10. 22.

Speech Recognition and Synthesis참고 문헌 37인용 수 13

한 줄 요약

이 논문은 음성 인식에서 self-training(pseudo-labeling)과 wav2vec 2.0를 이용한 무 supervision pre-training가 상호 보완적임을 보여주며, 최소한의 레이블된 데이터로 최신 기술 수준의 성능을 달성한다: 레이블된 데이터 10분과 레이블되지 않은 LibriVox 데이터 53,000시간을 사용하여 LibriSpeech의 clean/other 세트에서 각각 3.0%/5.2% WER를 기록하며, 이는 이전 해에 960시간의 레이블된 데이터로 훈련된 시스템과 맞먹는 성능이다.

ABSTRACT

Self-training and unsupervised pre-training have emerged as effective approaches to improve speech recognition systems using unlabeled data. However, it is not clear whether they learn similar patterns or if they can be effectively combined. In this paper, we show that pseudo-labeling and pre-training with wav2vec 2.0 are complementary in a variety of labeled data setups. Using just 10 minutes of labeled data from Libri-light as well as 53k hours of unlabeled data from LibriVox achieves WERs of 3.0%/5.2% on the clean and other test sets of Librispeech - rivaling the best published systems trained on 960 hours of labeled data only a year ago. Training on all labeled data of Librispeech achieves WERs of 1.5%/3.1%.

연구 동기 및 목표

• Self-training과 무 supervision pre-training이 유사한 패턴을 학습하는 것이 아니라, 서로 보완적인지 여쭤보기.
• 레이블된 데이터가 부족한 저자원 환경에서 wav2vec 2.0 pre-training과 pseudo-labeling을 결합하는 효과를 평가하기.
• pseudo-labeling 동안 사용된 언어 모델이 최종 음성 모델에 어떻게 통합되는지 이해하기.
• 레이블된 데이터와 레이블되지 않은 데이터의 비율이 두 방법을 조합했을 때 성능 향상에 미치는 영향 분석하기.

제안 방법

• 마스크된 잠재 표현에 대해 대비 학습을 사용하여 53,000시간의 레이블되지 않은 LibriVox 오디오 데이터를 기반으로 wav2vec 2.0 모델을 사전 훈련하기.
• 가용한 레이블된 데이터(예: LibriSpeech의 10분 또는 960시간)로 사전 훈련된 wav2vec 2.0 모델을 미세 조정하여 초기 음성 모델 생성하기.
• 미세 조정된 모델과 언어 모델을 사용하여 전체 레이블되지 않은 LibriVox 데이터셋에 대해 pseudo-label 생성하기.
• 원래의 레이블된 데이터와 pseudo-labeled 데이터의 결합을 기반으로 새롭게 또는 미세 조정을 통해 최종 음성 모델 훈련하기.
• distillation 영향을 평가하기 위해, 처음부터 훈련된 sequence-to-sequence 모델과 CTC-미세 조정된 모델의 성능 비교하기.
• 데이터 비율을 제어하기 위해 실험 전반에 걸쳐 레이블된 데이터 대비 레이블되지 않은 데이터 비율을 고정하여 데이터 양과 방법 조합의 영향을 분리 분석하기.

실험 결과

연구 질문

• RQ1 Self-training과 무 supervision pre-training은 음성 인식에서 상호 보완적인가, 아니면 겹치는 표현을 학습하는가?
• RQ2 wav2vec 2.0 pre-training과 pseudo-labeling을 조합하면, 레이블된 데이터가 극히 적은 저자원 환경에서 성능 향상이 크게 이루어지는가?
• RQ3 특히 추론 시 외부 언어 모델을 사용하지 않을 경우, pseudo-labeling 동안 사용된 언어 모델이 최종 음성 모델에 얼마나 효과적으로 통합되는가?
• RQ4 레이블된 데이터와 레이블되지 않은 데이터의 비율이 두 방법을 조합했을 때의 상대적 성능 향상에 미치는 영향은 어떠한가?

주요 결과

• wav2vec 2.0 pre-training과 self-training을 조합하면, 레이블된 데이터 10분과 레이블되지 않은 LibriVox 데이터 53,000시간을 사용하여 LibriSpeech의 clean 및 other 테스트 세트에서 각각 3.0%/5.2% WER를 달성하며, 이는 pre-training만을 사용한 경우 대비 각각 25%와 40%의 상대적 WER 감소를 의미한다.
• 추론 시 언어 모델을 사용하지 않더라도, self-trained 모델은 10분 설정에서 WER 3.7%/6.5%를 기록하며, pseudo-labeling 동안 사용된 언어 모델의 지식이 음성 모델에 효과적으로 통합됨을 시사한다.
• 모든 960시간의 레이블된 데이터를 사용할 경우, 조합된 접근법은 1.5%/3.1% WER를 달성하여, 이전 해에 960시간의 레이블된 데이터로 훈련된 최신 기술 수준의 시스템과 동일하거나 이를 초월한다.
• 두 방법을 조합했을 때의 상대적 성능 향상은 레이블된 데이터의 절대적 양이 아니라, 레이블된 데이터 대비 레이블되지 않은 데이터의 비율에 의해 주로 결정되며, 비율을 일정하게 유지할 경우 다양한 레이블된 데이터 스케일에서 일관된 상대적 성과 향상이 관찰된다.
• pseudo-labeled 데이터를 처음부터 훈련한 sequence-to-sequence 모델은 CTC-미세 조정된 모델보다 고데이터 환경에서 더 높은 성능을 보이며, 이는 복잡한 디코더가 pseudo-labeled 데이터를 더 효과적으로 활용하고 언어 모델 지식을 더 잘 통합함을 시사한다.
• pseudo-labeled 데이터에 대해 사전 훈련된 wav2vec 2.0 모델을 미세 조정하는 것보다, 처음부터 훈련하는 것이 더 낮은 성능을 낳는다. 이는 사전 훈련된 표현이 pseudo-labeled 데이터 분포에 최적화되어 있지 않으며, 처음부터 훈련하는 것이 pseudo-labeled 데이터에 더 잘 적응함을 의미한다.