[논문 리뷰] W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training

Yu-An Chung, Yu Zhang외 5명|arXiv (Cornell University)|2021. 08. 07.

Speech Recognition and Synthesis참고 문헌 38인용 수 15

한 줄 요약

w2v-BERT는 음성 단위 이산화를 위한 대비 학습과 이를 통해 생성된 토큰에 대한 마스크 언어 모델링(MLM)을 동시에 최적화하는 엔드 투 엔드 자기지도 학습 음성 사전학습 프레임워크를 제안한다. 이는 LibriSpeech에서 최신 기술 수준의 성능을 달성하여 wav2vec 2.0 및 HuBERT 대비 상대적으로 WER을 5–10% 감소시키며, 컨فور머 기반 기준 대비 실생활 음성 검색 정확도를 30% 이상 향상시킨다.

ABSTRACT

Motivated by the success of masked language modeling~(MLM) in pre-training natural language processing models, we propose w2v-BERT that explores MLM for self-supervised speech representation learning. w2v-BERT is a framework that combines contrastive learning and MLM, where the former trains the model to discretize input continuous speech signals into a finite set of discriminative speech tokens, and the latter trains the model to learn contextualized speech representations via solving a masked prediction task consuming the discretized tokens. In contrast to existing MLM-based speech pre-training frameworks such as HuBERT, which relies on an iterative re-clustering and re-training process, or vq-wav2vec, which concatenates two separately trained modules, w2v-BERT can be optimized in an end-to-end fashion by solving the two self-supervised tasks~(the contrastive task and MLM) simultaneously. Our experiments show that w2v-BERT achieves competitive results compared to current state-of-the-art pre-trained models on the LibriSpeech benchmarks when using the Libri-Light~60k corpus as the unsupervised data. In particular, when compared to published models such as conformer-based wav2vec~2.0 and HuBERT, our model shows~5\% to~10\% relative WER reduction on the test-clean and test-other subsets. When applied to the Google's Voice Search traffic dataset, w2v-BERT outperforms our internal conformer-based wav2vec~2.0 by more than~30\% relatively.

연구 동기 및 목표

• 대비 학습과 마스크 언어 모델링(MLM)을 통합된 엔드 투 엔드 프레임워크로 결합하여 자기지도 학습 음성 표현 학습을 향상시키는 것.
• vq-wav2vec와 DiscreteBERT와 같은 기존 이중 단계 접근 방식의 한계를 극복하여 표현 학습 중에 이산화 모듈을 고정하지 않는 것.
• 음성 단위 탐지와 맥락 기반 표현 학습을 동시에 최적화하여 사전에 학습된 이산화 모듈에서 발생하는 오류 전파를 방지하는 것.
• 표준 벤치마크(LibriSpeech)와 실제 어려운 음성 데이터(Google Voice Search) 모두에서 프레임워크의 유효성을 검증하는 것.
• 대비 학습과 MLM 간의 상호작용 분석, 특히 효과적인 마스크 예측을 가능하게 하는 대비 학습의 필수성 탐색

제안 방법

• 공유된 특징 인코더를 사용하고, 이후 대비 학습과 마스크 언어 모델링(MLM)을 위한 두 개의 병렬 Conformer 블록 스택을 구축한다.
• 대비 모듈은 대비 목적으로 미래 프레임을 예측하여 연속된 음성을 유한한 수의 구분 가능한 단위로 이산화하는 데 기여한다.
• MLM 모듈은 자연어 처리에서 BERT의 마스크 토큰 예측과 유사하게 맥락에서 마스크된 이산 단위를 예측한다.
• 두 목적이 엔드 투 엔드 방식으로 동시에 최적화되어, 이산화와 맥락 기반 표현 모두를 동시에 개선할 수 있도록 한다.
• 코드북을 사용해 연속된 표현을 이산 단위로 매핑하고, 이를 MLM 작업의 타겟으로 사용한다.
• 모델은 60,000시간의 Libri-Light 데이터로 사전학습하고, 표준 컨포머 기반 아키텍처를 사용해 지도 학습 ASR 작업으로 미세조정한다.

Fig. 1 : Illustration of the w2v-BERT pre-training framework. w2v-BERT is composed of a feature encoder, a contrastive module, and a masked language modeling (MLM) module, where the latter two are both a stack of conformer blocks. $N$ and $M$ denote the number of conformer blocks in the two modules,

실험 결과

연구 질문

• RQ1 대비 학습과 마스크 언어 모델링의 공동 최적화가 별도 또는 순차적 학습 대비 자기지도 학습 음성 표현 학습을 향상시키는가?
• RQ2 대비 모듈과 MLM 모듈을 이중 단계 방법에서처럼 이산화 모듈을 고정하지 않고 엔드 투 엔드 방식으로 학습할 경우 성능 향상이 이루어지는가?
• RQ3 대비 모듈의 용량이 MLM 모듈 성능과 전체 ASR 정확도에 미치는 영향은 어떠한가?
• RQ4 표준 대비 학습이 어려운 실생활의 노이즈가 많고 짧은 발화(예: 음성 검색에서의 발화)에 w2v-BERT가 일반화 가능한가?
• RQ5 대비 학습이 프레임워크 내에서 효과적인 마스크 예측을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• w2v-BERT는 LibriSpeech test-clean에서 2.3% WER, test-other에서 4.0% WER를 기록하여 wav2vec 2.0 및 HuBERT 대비 상대적으로 5–10% WER 감소를 달성했다.
• Google Voice Search 데이터셋에서 w2v-BERT XL은 WER을 기준 10.8에서 6.2로 감소시켜 30% 이상의 상대적 향상을 이룬다.
• 대비 모듈의 깊이가 증가함에 따라 w2v-BERT 성능이 향상되며, 8–12층에서 최적 성능을 보이며 이후에는 수익 감소 현상이 나타난다.
• 대비 모듈이 너무 깊어지면 마스크 예측 모듈이 병목 현상이 되므로, 두 모듈 간의 용량 균형이 필요하다는 것을 시사한다.
• 실험 분석을 통해 대비 학습이 효과적인 마스크 예측을 가능하게 하며, 이를 제거할 경우 MLM 성능이 크게 떨어짐을 확인하였다.
• w2v-BERT는 동일한 하이퍼파라미터를 사용한 wav2vec 2.0 및 w2v-Conformer XL과 비교해도 모든 LibriSpeech 서브셋에서 일관되게 우수한 성능을 보였다.

(a) MLM training loss