[논문 리뷰] SPIRAL: Self-supervised Perturbation-Invariant Representation Learning for Speech Pre-Training

Wenyong Huang, Zhenhe Zhang외 3명|arXiv (Cornell University)|2022. 01. 25.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

SPIRAL은 정규화된 표현에서 학습된 모멘텀 업데이트된 교사 네트워크를 기반으로 흐름을 제거하는 데 목적이 있는 자기지도 학습 음성 사전학습 방법을 제안한다. 이 방법은 학생 네트워크가 교사의 정제된 표현을 기반으로 훼손된 음성을 복원하도록 훈련함으로써 훼손에 강인한 표현을 학습한다. 이는 wav2vec 2.0에 비해 훈련 비용이 65–80% 낮아지며, 다중 조건 사전학습을 통해 소음에 대한 강건성을 크게 향상시켜 실제 소음이 있는 음성 데이터에서 WER을 9.0–13.3% 감소시킨다.

ABSTRACT

We introduce a new approach for speech pre-training named SPIRAL which works by learning denoising representation of perturbed data in a teacher-student framework. Specifically, given a speech utterance, we first feed the utterance to a teacher network to obtain corresponding representation. Then the same utterance is perturbed and fed to a student network. The student network is trained to output representation resembling that of the teacher. At the same time, the teacher network is updated as moving average of student's weights over training steps. In order to prevent representation collapse, we apply an in-utterance contrastive loss as pre-training objective and impose position randomization on the input to the teacher. SPIRAL achieves competitive or better results compared to state-of-the-art speech pre-training method wav2vec 2.0, with significant reduction of training cost (80% for BASE model, 65% for LARGE model). Furthermore, we address the problem of noise-robustness that is critical to real-world speech applications. We propose multi-condition pre-training by perturbing the student's input with various types of additive noise. We demonstrate that multi-condition pre-trained SPIRAL models are more robust to noisy speech (9.0% - 13.3% relative word error rate reduction on real noisy test data), compared to applying multi-condition training solely in the fine-tuning stage. Source code is available at https://github.com/huawei-noah/Speech-Backbones/tree/main/SPIRAL.

연구 동기 및 목표

• 훈련 비용을 줄이면서도 소음에 강건한 더 효율적인 음성 사전학습 방법을 개발하는 것.
• 모멘텀 업데이트된 교사 네트워크를 기반으로 학생 네트워크가 훼손된 입력을 복원하도록 훈련시켜 훼손에 강인한 표현을 학습하는 것.
• 벡터 양자화나 반복 클러스터링을 제거하기 위해 문맥 내 대조 학습을 사용하는 단일 대조 손실을 적용하는 것.
• 다양한 소음 유형을 포함한 다중 조건 사전학습을 통해 실제 환경에서의 음성 인식 성능을 향상시키는 것.
• 문맥 내 대조 손실과 입력 위치 랜덤화를 통해 표현 붕괴와 위치적 힌트 유출을 방지하는 것.

제안 방법

• 교사 네트워크가 청소된 음성을 처리하고, 학생 네트워크가 동일한 발화의 훼손된 변형을 처리하는 교사-학생 프레임워크.
• 교사 네트워크는 학생의 가중치를 시간에 따라 이동 평균으로 업데이트하여 안정적인 목표 표현을 확보한다.
• 같은 발화의 서로 다른 세그먼트 간 표현의 다양성을 유도함으로써 표현 붕괴를 방지하기 위해 문맥 내 대조 손실을 적용한다.
• 교사의 입력에 랜덤 패딩을 양쪽 끝에 추가하여 위치 붕괴를 방지하기 위해 입력 위치를 랜덤화한다.
• 사전학습 중 학생의 입력에 다양한 가감성 소음을 적용함으로써 다중 조건 사전학습을 구현하여 소음에 대한 강건성을 향상시킨다.
• 성능 저하를 최소화하면서도 계산 비용을 줄이기 위해 SPIRAL 모델에서 점진적인 다운샘플링 전략을 사용한다.

실험 결과

연구 질문

• RQ1 교사-학생 distillation을 통한 복원 기반 자기지도 사전학습 방법이 wav2vec 2.0와 같은 최신 기술보다 훈련 비용을 낮추면서도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 다양한 소음 조건에서의 사전학습이 단지 미세조정 단계에서 다중 조건 데이터를 적용하는 것보다 실제 소음이 있는 음성에 대해 더 효과적으로 강건성을 향상시키는가?
• RQ3 문맥 내 대조 손실과 위치 랜덤화가 순차적 음성 표현에서 표현 붕괴와 위치적 힌트 유출을 효과적으로 방지할 수 있는가?
• RQ4 벡터 양자화나 클러스터링 단계 없이도 음성 표현 학습에서 모델 성능과 훈련 효율성에 어떤 영향을 미치는가?
• RQ5 교사 네트워크에 계산 노이즈(예: 드롭아웃, LayerDrop)를 적용하면 일반화 능력과 강건성이 얼마나 향상되는가?

주요 결과

• SPIRAL은 LibriSpeech test-clean에서 WER 3.5%, test-other에서 WER 6.4%를 기록하여 wav2vec 2.0와 같은 최신 기술을 뛰어넘거나 동등하게 유지하면서 기준 모델 대비 훈련 비용을 Base 모델 기준 80%, Large 모델 기준 65% 감소시켰다.
• 다양한 소음 유형을 포함한 다중 조건 사전학습은 실제 소음이 있는 CHiME-3 테스트 데이터에서 WER을 9.0–13.3% 상대적으로 감소시켰으며, 사전학습 단계에서만 다중 조건 학습을 적용한 모델보다 뛰어난 성능을 보였다.
• 교사의 입력에 훼손을 적용할 경우 성능 저하가 심각하게 발생함으로써, 효과적인 복원을 위해 교사는 청소된 입력을 유지하는 설계 선택이 타당함을 뒷받침한다.
• 교사 네트워크에 계산 노이즈(예: 드롭아웃, LayerDrop)를 적용하면 상대적 WER이 15.9% 감소하여 일반화 능력 향상이 확인되었다.
• 예측기(predictor)를 제거했을 때 컨volutional 프로젝션 헤드가 성능 향상에 기여함을 확인하여, 예측기와 프로젝션 헤드 사이에 功能적 유사성이 있음을 시사하지만, 상호 보완적 관계는 아님을 나타낸다.
• 위치 랜덤화가 효과적으로 위치 붕괴를 방지함을 입증하였으며, 이는 표현 학습의 강건성과 안정성 향상으로 이어졌다.