[논문 리뷰] Hearing voices at the National Library -- a speech corpus and acoustic model for the Swedish language

Martin Malmsten, Chris Haffenden외 1명|arXiv (Cornell University)|2022. 05. 06.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 스웨덴 국립도서관의 음성영상 자료에서 유래한 다양한 음성 코퍼스—P4—를 기반으로 훈련된 새로운 단일어 음성 모델인 VoxRex를 제시한다. wav2vec 2.0를 사용하고 최소한의 전처리를 적용하여, 기존의 단일어 및 다국어 모델을 능가하는 성능을 보이며, 문화유산 기관이 고품질의 언어 특화 비라벨링 데이터를 활용해 AI를 민주화할 잠재력을 입증한다.

ABSTRACT

This paper explains our work in developing new acoustic models for automated speech recognition (ASR) at KBLab, the infrastructure for data-driven research at the National Library of Sweden (KB). We evaluate different approaches for a viable speech-to-text pipeline for audiovisual resources in Swedish, using the wav2vec 2.0 architecture in combination with speech corpuses created from KB's collections. These approaches include pretraining an acoustic model for Swedish from the ground up, and fine-tuning existing monolingual and multilingual models. The collections-based corpuses we use have been sampled from millions of hours of speech, with a conscious attempt to balance regional dialects to produce a more representative, and thus more democratic, model. The acoustic model this enabled, "VoxRex", outperforms existing models for Swedish ASR. We also evaluate combining this model with various pretrained language models, which further enhanced performance. We conclude by highlighting the potential of such technology for cultural heritage institutions with vast collections of previously unlabelled audiovisual data. Our models are released for further exploration and research here: https://huggingface.co/KBLab.

연구 동기 및 목표

• 스웨덴 국립도서관 자료의 비라벨링 음성 자료를 활용해 높은 성능을 내는 단일어 음성 모델을 개발한다.
• 기존의 다국어 및 단일어 모델을 스웨덴 음성 데이터에 대해 미세조정하는 것과 비교해, 새로운 모델을 처음부터 훈련시키는 방식의 효과를 평가한다.
• 문화유산 기관이 대규모 비라벨링 음성 아카이브를 활용해 최신 기술 수준의 ASR 시스템을 훈련시키는 데 있어 중심적인 역할을 할 수 있음을 입증한다.
• 스웨덴과 같은 저자원 언어에 대해 상업적 데이터 파이프라인에 의존하지 않고도 비지도 및 자기지도 학습이 ASR를 가능하게 하는 잠재력을 탐색한다.
• 스웨덴 NLP 및 음성 분석 분야의 향후 연구와 응용을 지원하기 위해 자유롭게 이용 가능한 고품질 ASR 모델과 코퍼스를 공개한다.

제안 방법

• 국립도서관의 자료에서 지역 대중 방송(P4), 팟캐스트, 오디오북의 비라벨링 음성을 샘플링하여 P4 음성 코퍼스를 구축하였으며, 지역 방언의 다양성을 중시하였다.
• 최소한의 전처리를 통해 음성 활동 탐지만 수행한 상태에서, P4 코퍼스를 기반으로 wav2vec 2.0 아키텍처를 사용해 새로운 단일어 음성 모델인 VoxRex를 훈련시켰다.
• 스웨덴용 표준 ASR 벤치마크를 사용해 VoxRex를 기존 모델—단일어 VoxPopuli-sv 및 다국어 XLSR-53—와 비교 평가하였다.
• 다양한 사전 훈련된 언어 모델과 VoxRex를 조합함으로써 성능을 향상시켜 자동 음성 인식 정확도를 높였다.
• 재현 가능성과 접근성을 확보하기 위해 Facebook AI 및 Hugging Face의 오픈소스 도구를 활용해 모델 훈련, 미세조정 및 배포를 수행하였다.
• VoxRex 및 그 미세조정 버전을 Hugging Face에 CC0 라이선스로 공개하여 광범위한 재사용과 향후 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 국립 문화유산 자료에서 비라벨링 음성 자료만을 사용해 스웨덴어를 위한 고성능 단일어 ASR 모델을 처음부터 훈련시킬 수 있는가?
• RQ2 지역 대중 방송 및 기타 자료에서 유래한 다양한 방언을 포함하는 균형 잡힌 코퍼스를 기반으로 훈련된 모델은 기존의 다국어 및 단일어 모델과 비교해 ASR 정확도에서 어떤가?
• RQ3 국립 아카이브에서 유래한 대규모 비라벨링 음성 자료를 기반으로 한 비지도 사전 훈련이 상업적 또는 고자원 데이터 소스 의존도를 얼마나 줄일 수 있는가?
• RQ4 자기지도 음성 모델과 사전 훈련된 언어 모델을 조합함으로써 스웨덴어 음성 인식 성능을 더욱 향상시킬 잠재력은 어떠한가?
• RQ5 vast한 비라벨링 음성 자료를 보유한 문화유산 기관은 어떻게 국가 AI 인프라 개발에 주도적인 기여를 할 수 있는가?

주요 결과

• P4 코퍼스를 기반으로 훈련된 단일어 음성 모델인 VoxRex는 기존의 모델—단일어 VoxPopuli-sv 및 다국어 XLSR-53—를 모두 초월하는 성능을 보였다.
• VoxRex를 사전 훈련된 언어 모델과 조합함으로써 ASR 성능이 더욱 향상되었으며, 이는 음성 모델과 언어 모델 간의 강력한 상호보완성 잠재력을 시사한다.
• 지역 대중 방송 및 기타 자료에서 유래한 P4 코퍼스는 광범위한 방언 및 발화자 다양성을 제공하여 보다 대표성 있고 민주적인 모델을 구성하는 데 기여하였다.
• 최소한의 전처리(단지 기본 음성 활동 탐지)에도 불구하고 VoxRex는 최신 기술 수준의 성능을 달성하여, wav2vec 2.0 아키텍처가 다양한 실생활 음성 자료에 대해 뛰어난 강건성을 보임을 입증하였다.
• 이 모델의 성공은 국립도서관 및 문화유산 기관이 기존의 비라벨링 음성 자료를 활용해 저자원 언어를 위한 AI 혁신의 주도적 역할을 할 수 있음을 보여준다.
• CC0 라이선스로 공개된 VoxRex는 광범위한 재사용과 미세조정을 가능하게 하여 스웨덴어 NLP 및 음성 분석 분야의 후속 연구와 응용을 지원한다.