[논문 리뷰] PARP: Prune, Adjust and Re-Prune for Self-Supervised Speech Recognition

Cheng-I Lai, Shuicheng Yan외 8명|arXiv (Cornell University)|2021. 06. 10.

Speech Recognition and Synthesis참고 문헌 124인용 수 12

한 줄 요약

PARP (Prune, Adjust, and Re-Prune)는 자기학습된 음성 표현 모델을 위한 새로운 프루닝 방법으로, 단일 다운스트림 피니팅 런만으로도 저자원 ASR 성능을 향상시킬 수 있는 희박한 서브넷워크를 발견한다. 사전 훈련된 모델을 프루닝하고, 프루닝된 가중치를 유지하면서 서브넷워크를 피니팅한 후 재프루닝하는 방식으로, PARP는 10분 분량의 LibriSpeech에서 전체 모델 대비 최대 12.6%의 상대적 WER 감소를 달성한다.

ABSTRACT

Self-supervised speech representation learning (speech SSL) has demonstrated the benefit of scale in learning rich representations for Automatic Speech Recognition (ASR) with limited paired data, such as wav2vec 2.0. We investigate the existence of sparse subnetworks in pre-trained speech SSL models that achieve even better low-resource ASR results. However, directly applying widely adopted pruning methods such as the Lottery Ticket Hypothesis (LTH) is suboptimal in the computational cost needed. Moreover, we show that the discovered subnetworks yield minimal performance gain compared to the original dense network. We present Prune-Adjust-Re-Prune (PARP), which discovers and finetunes subnetworks for much better performance, while only requiring a single downstream ASR finetuning run. PARP is inspired by our surprising observation that subnetworks pruned for pre-training tasks need merely a slight adjustment to achieve a sizeable performance boost in downstream ASR tasks. Extensive experiments on low-resource ASR verify (1) sparse subnetworks exist in mono-lingual/multi-lingual pre-trained speech SSL, and (2) the computational advantage and performance gain of PARP over baseline pruning methods. In particular, on the 10min Librispeech split without LM decoding, PARP discovers subnetworks from wav2vec 2.0 with an absolute 10.9%/12.6% WER decrease compared to the full model. We further demonstrate the effectiveness of PARP via: cross-lingual pruning without any phone recognition degradation, the discovery of a multi-lingual subnetwork for 10 spoken languages in 1 finetuning run, and its applicability to pre-trained BERT/XLNet for natural language tasks.

연구 동기 및 목표

• 표준 프루닝 방법(OMP 및 IMP)이 자기학습된 음성 인식에서 비효율적이고 성능 향상이 제한됨을 해결하기 위해.
• 저자원 ASR에서 원래의 밀도 모델보다 우수한 성능을 내는 사전 훈련된 음성 SSL 모델 내 희박한 서브넷워크를 발견하기 위해.
• 우수한 성능과 계산 효율성을 달성하면서도 단일 다운스트림 피니팅 런만을 요구하는 방법을 개발하기 위해.
• 이 방법의 효과성을 저자원, 다국어, 다언어 ASR 설정 전반에서 검증하기 위해.
• 이 접근법이 BERT 및 XLNet과 같은 NLP 모델로 일반화 가능한지 탐색하기 위해.

제안 방법

• 먼저, 목표 희박도에서 크기 기반 비구조적 프루닝을 사전 훈련된 SSL 모델에 적용하여 초도 서브넷워크와 프루닝 마스크를 확보한다.
• 두 번째로, 다운스트림 ASR 작업에서 프루닝된 서브넷워크를 피니팅하며, 프루닝 마스크에 포함된 가중치를 포함한 모든 가중치가 기울기 업데이트를 받도록 하되, 마스크의 구조는 유지한다.
• 세 번째로, 몇 번의 훈련 스텝 후에 업데이트된 서브넷워크를 동일한 목표 희박도로 재프루닝하여 가장 중요한 가중치만 유지한다.
• 이 방법은 피니팅 중 약간의 조정이 표준 프루닝보다 훨씬 높은 성능 향상을 이끌 수 있음을 활용한다.
• 반복적인 피니팅 사이클이 필요 없이 종단 간(end-to-end)으로 적용되어 계산 비용을 감소시킨다.
• 이 방법은 wav2vec 2.0, XLSR에서 평가되었으며, NLP 작업을 위한 BERT/XLNet으로도 확장되었다.

실험 결과

연구 질문

• RQ1 사전 훈련된 자기학습된 음성 모델 내에 저자원 ASR에서 전체 모델보다 우수한 성능을 내는 희박한 서브넷워크가 존재하는가?
• RQ2 단일 다운스트림 피니팅 런으로 표준 프루닝 방법보다 우수한 성능을 내는 서브넷워크를 발견할 수 있는가?
• RQ3 PARP 방법이 저자원, 다국어, 다언어 ASR 설정 전반에서 일반화되는가?
• RQ4 언어 특화 데이터에서 재학습 없이도 발견된 서브넷워크가 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 PARP 접근법은 BERT 및 XLNet과 같은 비음성 모델, 즉 NLP 작업으로 이식 가능한가?

주요 결과

• PARP는 wav2vec 2.0에서 희박한 서브넷워크를 발견하여, 언어 모델 디코딩 없이도 10분 분량의 LibriSpeech 분할에서 절대적 10.9% 및 12.6%의 WER 감소를 달성한다.
• 이 방법은 표준 프루닝 기반 모델(OPT 및 IMP)보다 뛰어나며, 모든 희박도 수준에서 전체 모델 대비 성능 향상이 없음을 보여준다.
• PARP는 성능 저하 없이 다국어 프루닝을 가능하게 하여 다양한 언어 간의 음소 인식 성능에서 뛰어난 강건성을 입증한다.
• 단일 피니팅 런으로 10개의 다양한 언어에 대해 다국어 서브넷워크를 성공적으로 발견하여 확장성과 가능성을 입증한다.
• 이 방법은 NLP 모델로도 이식 가능하며, 자연어 작업을 위한 사전 훈련된 BERT 및 XLNet에서 효과성을 입증한다.
• 반복적 프루닝 대비 계산 비용을 크게 감소시켜 단일 다운스트림 피니팅 사이클만으로도 충분히 효율적이다.