[논문 리뷰] Boosting Norwegian Automatic Speech Recognition

Javier de la Rosa, Rolv-Arild Braaten외 3명|arXiv (Cornell University)|2023. 07. 04.

Speech Recognition and SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 wav2vec 2.0 아키텍처를 사용하여 노르웨이 데크마를 및 뉴노르웨이어를 위한 향상된 자동 음성 인식(ASR) 모델을 제시한다. 이 모델들은 NPSC 및 NST를 포함한 노르웨이 음성 데이터셋에 대해 피나이팅된다. Bokmål에서 5.81%의 WER, Nynorsk에서 11.54%의 WER를 기록하며, 이는 이전의 최고 성능 기록을 크게 뛰어넘고, 도메인 외부 FLEURS 데이터에서 더 큰 Whisper 모델들조차도 뛰어넘는다.

ABSTRACT

In this paper, we present several baselines for automatic speech recognition (ASR) models for the two official written languages in Norway: Bokmål and Nynorsk. We compare the performance of models of varying sizes and pre-training approaches on multiple Norwegian speech datasets. Additionally, we measure the performance of these models against previous state-of-the-art ASR models, as well as on out-of-domain datasets. We improve the state of the art on the Norwegian Parliamentary Speech Corpus (NPSC) from a word error rate (WER) of 17.10\% to 7.60\%, with models achieving 5.81\% for Bokmål and 11.54\% for Nynorsk. We also discuss the challenges and potential solutions for further improving ASR models for Norwegian.

연구 동기 및 목표

• 노르웨이 데크마를 및 뉴노르웨이어의 고유한 형태소적 및 음운학적 특성을 지닌 공식 문체 표준 두 가지에 대해 강력한 ASR 베이스라인을 개발하기 위해.
• 계획된 말하기(NST)와 반자기적 말하기(NPSC)를 포함한 다양한 음성 데이터셋을 조합할 경우 ASR 성능에 어떤 영향을 미치는지 평가하기 위해.
• 더 큰, 더 다양한 훈련 데이터를 활용하여, 특히 비스크립트 의회 녹취록에서의 성능을 향상시켜 이전의 최고 성능을 넘어설 수 있도록 하기 위해.
• 도메인 외부 데이터셋, 예를 들어 FLEURS의 노르웨이 부분집합과 같은 데이터에서의 일반화 성능을 평가하여, 도메인 내 테스트 세트를 넘어서는 모델의 강건성을 평가하기 위해.

제안 방법

• 노르웨이 음성 데이터셋, 즉 노르웨이 의회 녹취록(NPSC)과 노르딕 언어기술(NST) 데이터셋에 대해 wav2vec 2.0 모델을 피나이팅하는 것.
• 계획된 말하기(NST)와 반자기적 말하기(NPSC)를 조합하여, 도메인 내 및 도메인 외부 데이터에서의 모델 일반화 능력을 향상시키고 WER를 감소시키는 것.
• 모델 크기(300M 및 1B 파라미터)를 다양하게 설정하고 언어 모델 유무를 조건으로 하여, 모델 규모와 언어 모델링이 인식 정확도에 미치는 영향을 평가하는 것.
• 5-그램 언어 모델을 적용하여, 노르웨이어의 어휘 외부 단어 및 형태소적으로 복잡한 단어의 전사 품질을 향상시키는 것.
• FLEURS의 전사 결과를 NPSC 및 NST 형식에 맞게 정규화하여 일관된 평가를 가능하게 하며, 숫자와 시간을 문자로 전환하는 것.
• 성능이 가장 뛰어난 모델과 코드를 공개하여 재현 가능성과 향후 노르웨이 ASR 분야의 연구 지원을 위해 노력하는 것.

실험 결과

연구 질문

• RQ1 계획된 말하기(NST)와 반자기적 말하기(NPSC)를 조합할 경우 노르웨이 데크마를 및 뉴노르웨이어의 ASR 성능에 어떤 영향을 미치는가?
• RQ2 더 큰 모델 크기(300M 대비 1B 파라미터)는 노르웨이 ASR 벤치마크에서 WER에 얼마나 기여하는가?
• RQ3 언어 모델이 형태소적으로 풍부하고 방언적 다양성이 높은 노르웨이어 음성에서 WER를 크게 감소시킬 수 있는가?
• RQ4 모델 성능은 도메인 외부 데이터, 예를 들어 FLEURS의 노르웨이 부분집합과 같이 일반화되는가?
• RQ5 추가적인 계획된 말하기 데이터 포함이 비스크립트 말하기 성능을 떨어뜨리지 않고도 강건성을 향상시키는가?

주요 결과

• 가장 뛰어난 300M 모델은 노르웨이 데크마를에서 5.81%의 WER, 뉴노르웨이어에서 11.54%의 WER를 기록하여, 이전 최고 기록인 NPSC에서의 17.10%를 크게 뛰어넘었다.
• 1B 파라미터 모델은 데크마를(5.81% 대비 7.14% WER)과 뉴노르웨이어(11.54% 대비 12.68% WER) 양쪽에서 300M 모델보다 뛰어난 성능을 보이며, 모델 용량 증가의 이점을 입증했다.
• NPSC 데이터셋에 400시간 이상의 계획된 말하기(NST) 데이터를 추가함으로써, 1B 설정에서 Bokmål의 WER가 6.41%에서 5.81%로 감소하여, 다양한 데이터가 성능 향상에 기여한다는 것을 입증했다.
• 300M 모델은 FLEURS 노르웨이 테스트 세트에서 9.88%의 WER를 기록하여, 파라미터 수가 적은 Whisper small(24.20%)를 뛰어넘고, Whisper large(9.50%)에 가까운 성능을 보였다.
• NST-NPSC-Bokmål 1B 모델은 FLEURS에서 9.87%의 WER를 기록하여, Whisper large(11.40%)와 1B 모델의 언어 모델 미적용 버전을 모두 뛰어넘었다.
• 언어 모델을 추가함으로써 300M 모델의 WER는 최대 3.5점 감소했고, 1B 모델의 경우 2.5점 감소하여, 형태소 복잡성 처리에 언어 모델의 효과가 뚜렷하게 입증되었다.