[논문 리뷰] Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition

Yiming Wang, Jinyu Li외 4명|arXiv (Cornell University)|2021. 10. 11.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 원본-노이즈 음성 쌍을 동시에 훈련시키며, 새로운 대비 학습 목표를 사용하여 음성 표현의 노이즈 내성 능력을 향상시키는 자기지도 학습 방법인 wav2vec-Switch를 제안한다. 훈련 중에 원본과 노이즈 입력 간에 양자화된 타겟을 교환함으로써, 모델은 일관되고 노이즈에 영향을 받지 않는 표현을 학습하게 되며, 합성된 노이즈가 가미된 LibriSpeech에서는 상대적 WER이 2.9–4.9% 감소하고, 실제 CHiME-4 데이터에서는 5.7% 감소하여 데이터 증강 기반 보다 우수한 성능을 기록하며, 별도의 강화 모듈을 갖춘 시스템과도 맞먹거나 뛰어나다.

ABSTRACT

The goal of self-supervised learning (SSL) for automatic speech recognition (ASR) is to learn good speech representations from a large amount of unlabeled speech for the downstream ASR task. However, most SSL frameworks do not consider noise robustness which is crucial for real-world applications. In this paper we propose wav2vec-Switch, a method to encode noise robustness into contextualized representations of speech via contrastive learning. Specifically, we feed original-noisy speech pairs simultaneously into the wav2vec 2.0 network. In addition to the existing contrastive learning task, we switch the quantized representations of the original and noisy speech as additional prediction targets of each other. By doing this, it enforces the network to have consistent predictions for the original and noisy speech, thus allows to learn contextualized representation with noise robustness. Our experiments on synthesized and real noisy data show the effectiveness of our method: it achieves 2.9--4.9% relative word error rate (WER) reduction on the synthesized noisy LibriSpeech data without deterioration on the original data, and 5.7% on CHiME-4 real 1-channel noisy data compared to a data augmentation baseline even with a strong language model for decoding. Our results on CHiME-4 can match or even surpass those with well-designed speech enhancement components.

연구 동기 및 목표

• 자기지도 학습 음성 표현 학습에서 외부 모듈을 추가하지 않고도 음성 인식(ASR)의 노이즈 내성 능력을 향상시키는 것.
• 기존 자기지도 학습 모델이 사전 훈련 중에 노이즈를 명시적으로 고려하지 않는 한계를 해결하는 것.
• 원본 및 노이즈 음성 입력 쌍에 대한 대비 학습을 통해 내성 능력을 향상시키는 방법을 개발하는 것.
• 복잡한 음성 강화 모듈을 갖춘 시스템과 비교해도 성능이 유사하거나 뛰어나게 하되, 오직 레이블이 없는 데이터만을 사용하는 것.

제안 방법

• 이 방법은 한 번의 배치에 원본 및 노이즈 음성 쌍을 wav2vec 2.0 네트워크에 동시에 입력한다.
• 마스크된 표현에 표준 대비 손실를 적용하지만, 새로운 타겟 교환 메커니즘을 도입한다: 원본과 노이즈 음성의 양자화된 타겟을 양의 샘플로 서로 교환한다.
• 이로 인해 모델은 원본과 노이즈 버전 모두에 대해 일관된 예측을 하도록 유도되어, 노이즈에 강인한 표현을 학습하게 된다.
• 훈련 목표는 원래의 대비 손실와 교환된 타겟 대비 손실를 조합하며, 네트워크 아키텍처를 수정하지 않는다.
• 동일한 드롭아웃 마스크와 마스크된 위치는 원본-노이즈 쌍 간에 유지되어 일관된 학습을 보장한다.
• 모델은 960시간의 레이블이 없는 LibriSpeech 및 MUSAN 데이터로 사전 훈련한 후, ASR을 위해 CTC로 미세조정한다.

Fig. 1 : This figure illustrates how the 4 contrastive losses are calculated in the proposed wav2vec-Switch model. The original-noisy pair of speech is fed into the network with identical internal states simultaneously. The loss quantities $\mathcal{L}^{\mathrm{C}}(C,\widetilde{Q})$ and $\mathcal{L}

실험 결과

연구 질문

• RQ1 원본-노이즈 음성 쌍에 대한 대비 학습이 자기지도 학습 ASR 모델의 노이즈 내성 능력을 향상시킬 수 있는가?
• RQ2 원본 및 노이즈 음성 표현 간의 예측 일관성을 강제하면, 노이즈 조건 하에서도 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 원본-노이즈 음성 쌍에 대한 간단하고 아키텍처에 종속되지 않는 방법인 타겟 교환은 실제 노이즈가 가미된 ASR에서 복잡한 음성 강화 파이프라인을 능가할 수 있는가?
• RQ4 이 방법은 노이즈 조건이 일치하지 않는 상황과 강력한 언어 모델 하에서 어떻게 성능을 발휘하는가?

주요 결과

• wav2vec-Switch는 강력한 언어 모델이 존재하는 상황에서도 합성된 노이즈가 가미된 LibriSpeech 데이터에서 데이터 증강 기반 보다 상대적 WER이 2.9–4.9% 감소한다.
• 실제 1채널 CHiME-4 데이터에서는 동일한 기반 모델 대비 5.7%의 상대적 WER 감소를 기록하며, 별도의 강화 모듈을 갖춘 시스템을 능가한다.
• 청정 테스트 세트에서도 뛰어난 성능을 유지하여 원본(청정) 음성 데이터에 대해 성능 저하가 발생하지 않음을 보여준다.
• 제거 실험 결과, 쌍 간에 동일한 드롭아웃 마스크와 마스크된 위치를 유지하는 것이 핵심임을 확인하였으며, 이들의 이질성이 발생하면 WER가 심각하게 악화된다.
• 음성 강화 구성 요소 없이도 레이블이 없는 데이터로만 자기지도 학습을 수행함으로써 CHiME-4에서 최고 성능을 기록하였다.
• 언어 모델 없이도 wav2vec-Switch는 합성된 노이즈가 가미된 데이터에서 WER을 7.1–11.0% 감소시켜 강력한 내성 능력을 입증하였다.