[논문 리뷰] DeCoAR 2.0: Deep Contextualized Acoustic Representations with Vector Quantization

Shaoshi Ling, Yuzong Liu|arXiv (Cornell University)|2020. 12. 11.

Speech Recognition and Synthesis참고 문헌 34인용 수 58

한 줄 요약

DeCoAR 2.0은 Transformer 인코더와 다양성 목표를 가진 벡터 양자화 계층을 사용하여 반지도 학습 음성 인식을 위한 깊은 맥락적 음향 표현을 학습하고, 제한된 라벨 데이터에 비해 기준보다 경쟁력 있는 WER을 달성한다.

ABSTRACT

Recent success in speech representation learning enables a new way to leverage unlabeled data to train speech recognition model. In speech representation learning, a large amount of unlabeled data is used in a self-supervised manner to learn a feature representation. Then a smaller amount of labeled data is used to train a downstream ASR system using the new feature representations. Based on our previous work DeCoAR and inspirations from other speech representation learning, we propose DeCoAR 2.0, a Deep Contextualized Acoustic Representation with vector quantization. We introduce several modifications over the DeCoAR: first, we use Transformers in encoding module instead of LSTMs; second, we introduce a vector quantization layer between encoder and reconstruction modules; third, we propose an objective that combines the reconstructive loss with vector quantization diversity loss to train speech representations. Our experiments show consistent improvements over other speech representations in different data-sparse scenarios. Without fine-tuning, a light-weight ASR model trained on 10 hours of LibriSpeech labeled data with DeCoAR 2.0 features outperforms the model trained on the full 960-hour dataset with filterbank features.

연구 동기 및 목표

• 라벨이 없는 음성 데이터를 활용해 ASR를 위한 강건한 음향 표현을 학습한다.
• LSTM을 Transformer로 대체하고 벡터 양자화를 추가하여 표현 품질을 향상시킨다.
• 재구성 손실과 다양성 목표를 결합하여 이산 음성 표현을 학습한다.
• 데이터가 희소한 반지도 학습 ASR 시나리오에서 효과를 입증한다.
• VQ 모듈이 다운스트림 ASR 성능에 미치는 영향을 분석한다.

제안 방법

• 인코더: 1D 컨벌루션 계층 다음에 Transformer 블록으로 잠재 z 표현을 생성(마스킹 프레임 전략).
• 양자화: 다수의 코드북을 이용한 Gumbel-Softmax와 스트레이트-통과 추정기가 z를 이산 코드워드를 사용해 양자화된 v로 매핑한다.
• 재구성: 피드포워드 네트워크가 양자화된 표현으로부터 원래 프레임을 L1 손실로 재구성한다.
• 다양성 손실: 코드북 엔트리의 균일한 사용을 촉진해 정보적 언어 단위를 강화한다.
• 결합 목표: L = L_recon + alpha * L_div 로 모델을 학습한다.
• 반지도 다운스트림: 사전 학습 후 인코더를 고정하고 다운스트림 ASR 모델에 부착하되 인코더 미세조정 없이; ASR에 CTC 손실을 사용한다.

실험 결과

연구 질문

• RQ1 벡터 양자화를 갖춘 Transformer 기반 인코더가 라벨이 없는 데이터로부터 강건하고 맥락화된 음향 표현을 만들어낼 수 있는가?
• RQ2 재구성 손실과 다양성 손실의 결합이 라벨링 데이터가 적은 상황에서 ASR 성능을 향상시키는가?
• RQ3 semi-supervised LibriSpeech 설정에서 DeCoAR 2.0은 다른 표현 학습 방법(wav2vec 2.0, VQ-APC 등)과 어떻게 비교되는가?
• RQ4 데이터가 희소한 시나리오에서 VQ 계층이 다운스트림 ASR 정확도에 미치는 영향은 무엇인가?

주요 결과

• 레이블 데이터 10시간을 가진 DeCoAR 2.0은 특정 조건에서 필터뱅크 특징으로 960시간 학습된 시스템과 일치하거나 능가한다.
• 극도로 데이터가 희소한 시나리오에서 레이블 데이터 10시간으로 WER 5.43%(test-clean) 및 13.27%(test-other)를 달성한다.
• 레이블 데이터 1시간으로 WER 13.75%(test-clean) 및 29.13%(test-other).
• 소거 실험은 LibriSpeech 10시간 SSL 설정에서 VQ 계층이 ASR 성능에 이득을 준다를 보여준다( VQ 없는 경우: 6.29/18.54 대 VQ: 5.43/13.27).
• DeCoAR 2.0은 반지도 학습 시나리오 전반에서 wav2vec 2.0과 비슷한 수준의 성능을 보인다.