[논문 리뷰] Unsupervised Pre-training of Bidirectional Speech Encoders via Masked Reconstruction

Weiran Wang, Qingming Tang외 1명|arXiv (Cornell University)|2020. 01. 28.

Speech Recognition and Synthesis인용 수 22

한 줄 요약

이 논문은 연속 스펙트로그램 입력을 사용하여 이방향 음성 인코더를 위한 마스크된 재구성 미리 훈련 방법을 제안한다. 여기서 시간과 주파수 영역의 무작위 세그먼트가 마스크되고 모델이 이를 재구성한다. 이 방법은 LibriSpeech 및 월스트리트저널 데이터셋에서 음성 인식 정확도에 일관된 향상을 이룬다. 특히 대규모 레이블이 없는 데이터로 미리 훈련하고 피지컬 테이닝 중 도메인 적응을 적용할 경우에 특히 그렇다.

ABSTRACT

We propose an approach for pre-training speech representations via a masked reconstruction loss. Our pre-trained encoder networks are bidirectional and can therefore be used directly in typical bidirectional speech recognition models. The pre-trained networks can then be fine-tuned on a smaller amount of supervised data for speech recognition. Experiments with this approach on the LibriSpeech and Wall Street Journal corpora show promising results. We find that the main factors that lead to speech recognition improvements are: masking segments of sufficient width in both time and frequency, pre-training on a much larger amount of unlabeled data than the labeled data, and domain adaptation when the unlabeled and labeled data come from different domains. The gain from pre-training is additive to that of supervised data augmentation.

연구 동기 및 목표

• 이중 방향 음성 인코더의 비지도 미리 훈련을 통해 음성 인식 성능을 향상시키기 위해.
• BERT 스타일의 마스크된 재구성을 연속적이고 고해상도 특성인 음성 신호에 적합하게 적용하기 위해.
• 마스크 전략, 미리 훈련 데이터의 크기, 도메인 불일치가 인식 성능에 미치는 영향을 조사하기 위해.
• 데이터 증강 여부에 관계없이, 페인트 기반 및 문자 기반 ASR 시스템에서 이 방법의 성능을 평가하기 위해.
• 미리 훈련 데이터와 피지컬 테이닝 데이터가 도메인에서 다를 경우, 선형 입력 네트워크(LIN)를 통한 도메인 적응의 효과를 입증하기 위해.

제안 방법

• 대규모 레이블이 없는 음성 데이터에서 마스크된 재구성 손실을 사용하여 이중 방향 RNN을 미리 훈련한다.
• 시간과 주파수 영역에서 무작위 마스크를 적용한다: 시간 영역에서는 연속된 세그먼트를, 주파수 영역에서는 시간 단계에 걸쳐 무작위 채널을 선택한다.
• 스펙트로그램 특징을 입력으로 사용하여, 더 나은 음성 연속성 모델링을 위해 시간-주파수 동시 마스크를 구현한다.
• 표준 ASR 훈련 절차를 사용하여 작은 레이블이 있는 데이터셋에서 미리 훈련된 모델을 피지컬 테이닝한다.
• 초기 피지컬 테이닝 에포크 동안 업데이트되는 학습 가능한 선형 입력 네트워크(LIN)를 통해 도메인 적응을 적용한다.
• 개발 세트 튜닝을 통해 마스크 폭 및 마스크 수와 같은 하이퍼파라미터를 최적화한다.

Fig. 1 : Illustration of our masked reconstruction approach.

실험 결과

연구 질문

• RQ1 BERT 스타일의 마스크된 재구성이 연속적인 음성 신호에 대해 비지도 미리 훈련에 효과적으로 적용될 수 있는가?
• RQ2 마스크 전략(폭 및 시간/주파수 세그먼트 수)이 최종 ASR 성능에 어떤 영향을 미치는가?
• RQ3 대규모 레이블이 없는 데이터로의 미리 훈련과 제한된 레이블이 있는 데이터로의 미리 훈련 간 성능에 어떤 영향을 미치는가?
• RQ4 미리 훈련 데이터와 피지컬 테이닝 데이터 사이의 도메인 불일치가 성능에 어떤 영향을 미치며, 이를 완화할 수 있는가?
• RQ5 SpecAugment과 같은 감독 기반 데이터 증강 기법과의 조합에서, 미리 훈련의 성과가 누적되는가?

주요 결과

• 960시간의 레이블이 없는 LibriSpeech 데이터로 미리 훈련하면, si284 및 WSJ 테스트 세트에서 모두 음성 인식 성능이 향상된다.
• si284 세트에서, 미리 훈련을 통해 페인트 기반 WER은 기준값 18.52%에서 SpecAugment를 적용한 15.56%로 감소하고, 미리 훈련과 SpecAugment를 모두 적용한 경우 14.92%로 추가로 감소한다.
• 문자 기반 시스템의 경우, 미리 훈련을 통해 CER는 기준값 15.23%에서 SpecAugment와 LIN 적응을 적용한 경우 11.70%로 감소한다.
• 미리 훈련과 SpecAugment의 조합은 누적 효과를 보이며, 두 가지를 모두 적용할 경우 테스트 세트 WER이 6.33%로 떨어진다.
• 미리 훈련 데이터와 피지컬 테이닝 데이터가 서로 다른 도메인에 속할 경우, LIN을 통한 도메인 적응은 항상 성능 향상을 이룬다. 특히 WSJ에서 두드러진다.
• 학습 곡선을 통해, 미리 훈련된 모델이 더 빠르게 수렴하고 일반화 성능이 뛰어나며, CER와 CTC 손실이 낮아서 과적합이 줄어든다.

Fig. 2 : Dev set learning curves (%CER and CTC loss) of different systems pre-trained on LibriSpeech . The first 5 epochs of fine-tuning update only the LIN and softmax layers.