[논문 리뷰] Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition

Felix F. Wu, Kwangyoun Kim외 4명|arXiv (Cornell University)|2021. 09. 14.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 표현 및 디코딩을 위한 최적화된 시간 해상도, 효율적인 특징 추출, 전략적 파rameter 할당을 통해 성능과 추론 효율성을 모두 향상시킨 wav2vec 2.0의 재설계된 아키텍처인 SEW(Squeezed and Efficient Wav2vec)를 제안한다. LibriSpeech에서 100시간의 레이블 데이터를 사용할 때 SEW-D-mid는 W2V2-base 대비 1.9배 빠른 추론 속도와 13.5% 낮은 WER를 달성하며, SEW-D-base+는 파라미터 수를 절반으로 줄이고도 W2V2-large 수준의 성능을 유지하면서 사전 훈련 속도를 3.2배 빠르게 한다.

ABSTRACT

This paper is a study of performance-efficiency trade-offs in pre-trained models for automatic speech recognition (ASR). We focus on wav2vec 2.0, and formalize several architecture designs that influence both the model performance and its efficiency. Putting together all our observations, we introduce SEW (Squeezed and Efficient Wav2vec), a pre-trained model architecture with significant improvements along both performance and efficiency dimensions across a variety of training setups. For example, under the 100h-960h semi-supervised setup on LibriSpeech, SEW achieves a 1.9x inference speedup compared to wav2vec 2.0, with a 13.5% relative reduction in word error rate. With a similar inference time, SEW reduces word error rate by 25-50% across different model sizes.

연구 동기 및 목표

• 자기지도 학습 기반 음성 인식을 위한 wav2vec 2.0 사전 훈련에서의 성능-효율성 트레이드오프를 분석하고 최적화하기 위해.
• 모델 정확도와 추론 속도에 영향을 주는 아키텍처 구성 요소를 규명하기 위해.
• 모델 크기나 계산 비용을 증가시키지 않으면서도 성능과 효율성을 모두 향상시킬 수 있는 새로운 모델 아키텍처를 개발하기 위해.
• 추론 지연과 에너지 소비를 줄여 사전 훈련된 ASR 모델의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 표현 및 디코딩을 위한 최적화된 시간 해상도를 가진 wav2vec 2.0 기반의 새로운 SEW 아키텍처를 도입한다.
• 기존 wav2vec 2.0 추출기 대비 50% 빠른 추론 시간을 확보하기 위해 경량 웨이브폼 특징 추출기를 설계한다.
• 네트워크의 후단 레이어에 더 많은 파라미터를 할당함으로써 모델 용량을 재분배하여, 최종 계산 비용을 증가시키지 않고도 성능을 향상시킨다.
• 추론 성능과 효율성을 추가로 향상시키기 위해 분리된 어텐션을 적용한 SEW-D를 제안한다.
• 두 단계 훈련 설정을 사용한다: 960시간의 레이블이 없는 LibriSpeech 데이터에서의 사전 훈련, 이어서 100시간의 레이블된 데이터로의 피니어튜닝.
• W2V2-base에서 표준 피니어튜닝 초모수를 사용하며, 더 큰 SEW 모델에서의 안정성을 확보하기 위해 학습률과 드롭아웃을 조정한다.

Figure 1: Word error rate (WER) and average utterance inference time on LibriSpeech (dev-other) of wav2vec 2.0 and our SEW and SEW-D models fine-tuned with 100h labeled data for 100K updates.

실험 결과

연구 질문

• RQ1 네트워크의 시간 해상도를 다양하게 조절할 경우 wav2vec 2.0의 성능-효율성 트레이드오프에 어떤 영향을 미치는가?
• RQ2 더 효율적인 웨이브폼 특징 추출기가 추론 시간을 절반으로 줄이면서도 성능을 유지할 수 있는가?
• RQ3 사전 훈련 네트워크에서 모델 용량을 레이어 간에 최적의 방식으로 분배할 경우가 있는가?
• RQ4 예측 헤드의 표현력이 증가하면 최종 추론에 영향을 주지 않고 성능에 어떤 영향을 미치는가?
• RQ5 다양한 ASR 환경에서 원래 wav2vec 2.0보다 정확도와 추론 속도 양면에서 뛰어난 성능을 내는 재설계된 아키텍처를 설계할 수 있는가?

주요 결과

• SEW-D-mid는 100시간의 레이블 데이터를 사용할 때 LibriSpeech dev-other에서 W2V2-base 대비 1.9배 빠른 추론 속도와 13.5% 상대적인 WER 감소를 달성한다.
• 유사한 추론 시간 조건에서 SEW는 다양한 모델 크기에서 W2V2 대비 WER를 25~50% 낮춘다.
• SEW-D-base+는 파라미터 수를 절반으로 줄였음에도 불구하고 W2V2-large 수준의 WER를 달성하며, 사전 훈련 속도는 3.2배 빠르다.
• SEW-D-mid는 TED-LIUM 3 및 Fisher+Switchboard에서 추론 시간을 30% 줄였고, 모든 이방향 데이터셋에서 WER가 낮거나 동일한 성능을 기록한다.
• SEW-D-mid는 모든 테스트 데이터셋(TED-LIUM 3, VoxPopuli, Fisher+Switchboard)에서 레이블 데이터 10시간만으로도 W2V2-base를 초월하며, 최소 30% 더 빠른 속도를 기록한다.
• 이 모델은 최신 기술 수준의 성능-효율성 트레이드오프를 달성하여, 자기지도 학습 기반 ASR 모델의 더 빠르고 저렴하며 에너지 효율적인 구현을 가능하게 한다.

Figure 2: Wav2vec 2.0 framework.