[논문 리뷰] Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training

Mitchell DeHaven, Jayadev Billa|arXiv (Cornell University)|2022. 07. 01.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 저자원 음성 인식을 위한 반감성 학습(SST)의 대안으로, XLSR-53 음성 모델을 도메인 내, 레이블이 없는 오디오에서 계속된 사전학습(CoPT)으로 평가한다. CoPT는 WER을 SST와 동일하거나 더 낮게 달성하며, 계산 비용이 더 효율적이고, CoPT로 생성된 가짜 레이블을 사용해 SST와 조합할 경우 조지아어, 페르시아어, 소말리어, 타갈로그어에서 WER 향상이 추가로 이루어진다.

ABSTRACT

Self-supervised Transformer based models, such as wav2vec 2.0 and HuBERT, have produced significant improvements over existing approaches to automatic speech recognition (ASR). This is evident in the performance of the wav2vec 2.0 based pretrained XLSR-53 model across many languages when fine-tuned with available labeled data. However, the performance from finetuning these models can be dependent on the amount of in-language or similar-to-in-language data included in the pretraining dataset. In this paper we investigate continued pretraining (CoPT) with unlabeled in-language audio data on the XLSR-53 pretrained model in several low-resource languages. CoPT is more computationally efficient than semi-supervised training (SST), the standard approach of utilizing unlabeled data in ASR, since it omits the need for pseudo-labeling of the unlabeled data. We show CoPT results in word error rates (WERs), equal to or slightly better than using SST. In addition, we show that using the CoPT model for pseudo-labeling, and using these labels in SST, results in further improvements in WER.

연구 동기 및 목표

• 도메인 내 레이블이 없는 오디오에서 계속된 사전학습(CoPT)이 저자원 음성 인식 성능을 향상시키는지 조사하기.
• ASR에서 레이블이 없는 데이터를 활용하는 표준 방법인 반감성 학습(SST)과 CoPT를 비교하기.
• CoPT와 SST를 순차적으로 사용했을 때의 상호보완성 평가하기.
• 도메인 내 또는 도메인 외 레이블이 없는 데이터가 CoPT의 효과성에 영향을 주는지 여부 확인하기.
• XLSR-53과 같은 다국어 자기지도 학습 모델에 CoPT를 적용하는 최선의 실천 방안 설정하기.

제안 방법

• IARPA MATERIAL 프로그램과 BABEL 데이터셋의 소규모 레이블이 있는 도메인 내 언어 데이터를 기반으로 XLSR-53 모델을 미세조정하기.
• 목표 언어의 뉴스 채널에서 1,000시간의 레이블이 없는 YouTube 오디오를 사용해 XLSR-53 모델에 대해 계속된 사전학습(CoPT) 적용하기.
• 기본 XLSR-53 모델을 사용해 SST용 가짜 레이블을 생성하고, 레이블이 있는 데이터와 필터링된 가짜 레이블 데이터의 조합으로 모델을 재학습하기.
• 최고 성능을 보인 CoPT 모델을 사용해 향상된 가짜 레이블을 생성하고, 이를 기반으로 개선된 데이터로 모델을 재학습하기.
• 모델을 언어별 테스트 세트, 특히 전화 통화, 뉴스, 주제별 브로드캐스트와 같은 장르별 분할 세트에서 평가하기.
• 여러 저자원 언어에서 CoPT, SST, 그리고 하이브리드 CoPT+SST 파이프라인 간의 WER 비교하기.

실험 결과

연구 질문

• RQ1 표준 반감성 학습(SST)과 비교해, 도메인 내 레이블이 없는 오디오에서 계속된 사전학습(CoPT)이 저자원 환경에서 음성 인식 성능을 향상시키는가?
• RQ2 WER, 계산 비용, 구현 복잡도 측면에서 CoPT의 성능는 SST와 어떻게 비교되는가?
• RQ3 CoPT와 SST를 함께 사용해 저자원 ASR에서 추가 성능 향상을 달성할 수 있는가?
• RQ4 CoPT 데이터와 타겟 데이터 간의 도메인 일치도(예: 뉴스 브로드캐스트 대 대화형 음성)가 모델 성능에 영향을 주는가?
• RQ5 예를 들어 뉴스 브로드캐스트 오디오를 사용해 대화형 음성 인식을 향상시키는 데 CoPT가 효과가 있는가?

주요 결과

• Georgian, 페르시아어, 소말리어, 타갈로그어를 포함한 모든 평가된 저자원 언어에서 CoPT는 반감성 학습(SST)과 동일하거나 더 낮은 WER을 달성한다.
• 조지아어의 경우, CoPT는 MATERIAL 분석 세트에서 기준 모델의 WER 33.8에서 32.7로 감소시키며, SST와 조합할 경우 추가로 향상된다.
• 페르시아어의 경우, CoPT는 WER을 41.5에서 38.2로 감소시키고, 하이브리드 CoPT+SST 접근법을 통해 37.4로 추가로 감소시켜 강력한 상호보완성을 보여준다.
• BABEL 개발 세트에서 CoPT는 조지아어의 WER을 31.9에서 30.7로, 타갈로그어의 WER을 36.3에서 35.2로 감소시키며, YouTube 오디오가 대화형 음성과 도메인 외부일지라도 효과가 있다.
• CoPT가 가장 큰 WER 향상을 보이는 장르는 뉴스 브로드캐스트(NB)와 주제별 브로드캐스트(TB)로, 이는 스타일과 콘텐츠에서 YouTube 오디오와 유사하기 때문이다.
• CoPT로 생성된 가짜 레이블을 SST에 사용하면 추가로 성능 향상이 이루어지며, 특히 페르시아어와 타갈로그어에서 두드러져 CoPT와 SST가 상호보완적임을 입증한다.