[논문 리뷰] Masked Pre-trained Encoder base on Joint CTC-Transformer

Lu Liu, Yiheng Huang|arXiv (Cornell University)|2020. 05. 25.

Speech Recognition and Synthesis참고 문헌 21인용 수 7

한 줄 요약

이 논문은 마스크된 사전 훈련된 인코더(MPE)와 유합 CTC-Transformer(JCT) 모델을 결합한 이단계적 준지도 학습 ASR 프레임워크를 제안한다. MPE는 이중성 트랜스포머를 사용하여 다운샘플된 음성 프레임을 마스크하고 재구성함으로써 대규모 비라벨 음성 데이터에서 사전 훈련되며, JCT는 CTC 및 주의력 손실을 사용하여 제한된 라벨 데이터로 인코더를 미세 조정한다. 이 방법은 완전히 지도 학습한 것과 비교해 30%의 라벨 데이터만으로 WSJ에서 22%의 WER 감소를 달성한다.

ABSTRACT

This study (The work was accomplished during the internship in Tencent AI lab) addresses semi-supervised acoustic modeling, i.e. attaining high-level representations from unsupervised audio data and fine-tuning the parameters of pre-trained model with supervised data. The proposed approach adopts a two-stage training framework, consisting of masked pre-trained encoder (MPE) and Joint CTC-Transformer (JCT). In the MPE framework, part of input frames are masked and reconstructed after the encoder with massive unsupervised data. In JCT framework, compared with original Transformer, acoustic features are applied as input instead of plain text. CTC loss performs as the prediction target on top of the encoder, and decoder blocks remain unchanged. This paper presents a comparison between two-stage training method and the fully supervised JCT. In addition, this paper investigates the our approach's robustness against different volumns of training data. Experiments on the two-stage training method deliver much better performance than fully supervised model. The word error rate (WER) with two-stage training which only exploits 30\% of WSJ labeled data achieves 17\% reduction than which trained by 50\% of WSJ in a fully supervised way. Moreover, increasing unlabeled data for MPE from WSJ (81h) to Librispeech (960h) attains about 22\% WER reduction.

연구 동기 및 목표

• 대규모 비라벨 음성 데이터를 활용하여 저자원 자동 음성 인식(ASR) 성능을 향상시키기 위해.
• BERT와 유사한 접근 방식을 따르되, 문맥적 특징을 위해 화상 수준의 마스킹과 재구성 방식으로 음성에 적합하게 조정된 마스크된 사전 훈련 전략을 개발하기 위해.
• 다양한 양의 라벨 데이터에서 두 단계 훈련 파이프라인의 강건성과 효율성을 평가하기 위해.
• 기존의 자기지도 학습 음성 표현 학습 방법들인 wav2vec와 DeCoAR과의 비교를 위해.

제안 방법

• 마스크된 사전 훈련된 인코더(MPE)는 81시간 또는 960시간의 비라벨 음성 데이터에서 훈련되며, 다운샘플된 FBANK 프레임의 15%를 마스크하고 이중성 트랜스포머 인코더를 사용해 재구성한다.
• MPE는 원본과 재구성된 프레임 간의 재구성 오차를 최소화하기 위해 L1 손실을 사용하며, Adam 최적화를 통해 최적화된다.
• 유합 CTC-Transformer(JCT) 모델은 소규모 라벨 데이터 세트(예: WSJ 1/3 또는 1/2)에서 미세 조정되며, 공유 인코더 위에 CTC 손실이 보조 예측 헤드로 작용한다.
• 두 가지 미세 조정 전략이 평가되었는데, 즉 엔드 투 엔드 미세 조정과 동결된 인코더 미세 조정이며, 후자가 더 뛰어난 성능을 보였다.
• 사전 훈련된 MPE 특징는 제한된 지도 학습에서 후행 ASR 성능 향상을 위해 고수준 표현으로 사용된다.
• 프레임워크는 WSJ 및 LibriSpeech 데이터 세트에서 평가되었으며, 다양한 데이터 제도와 사전 훈련 데이터 스케일에서 WER를 비교하였다.

실험 결과

연구 질문

• RQ1 대규모 비라벨 음성 데이터에서 마스크된 사전 훈련이 제한된 라벨 데이터로 ASR 성능을 향상시킬 수 있는가?
• RQ2 동일한 라벨 데이터 양을 사용할 때, 이단계적 MPE-JCT 프레임워크의 성능은 완전히 지도 학습한 경우와 비교해 어떻게 되는가?
• RQ3 비라벨 사전 훈련 데이터의 양을 81시간에서 960시간으로 늘일 경우, 후행 ASR 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 MPE 방법은 wav2vec와 DeCoAR과 같은 기존 자기지도 학습 음성 표현 방법과 비교해 어떻게 되는가?

주요 결과

• 이단계적 MPE-JCT 프레임워크는 동일한 라벨 데이터로 완전히 지도 학습한 경우와 비교해 WSJ dev93에서 22%의 상대적 WER 감소, eval92에서는 30% 감소를 달성한다.
• 960시간의 LibriSpeech 데이터에서 사전 훈련된 MPE를 사용해 30%의 라벨 데이터만으로도 WSJ(81시간)에서 22%의 WER 감소를 달성한다.
• LibriSpeech에서 이단계적 방법은 dev-clean에서 WER을 34% 감소시키고, test-clean에서는 25% 감소시켰다.
• 동결된 미세 조정 전략은 엔드 투 엔드 미세 조정보다 성능이 뛰어나며, WSJ dev93에서 10.43의 WER를 기록한 반면 직접 미세 조정을 사용한 경우는 14.77의 WER를 기록했다.
• WSJ dev93에서 MPE 방법은 wav2vec와 비교해 15%의 상대적 WER 감소, DeCoAR와 비교해 7%의 상대적 WER 감소를 달성했다.
• MPE의 자기주의 행렬은 훈련 에포크가 진행됨에 따라 개선된 정렬을 보이며, 효과적인 문맥 표현 학습을 나타낸다.