[論文レビュー] Hearing voices at the National Library -- a speech corpus and acoustic model for the Swedish language

Martin Malmsten, Chris Haffenden+1 more|arXiv (Cornell University)|May 6, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本論文では、スウェーデン国立図書館の映像資料から抽出された多様な音声コーパスP4を用いて、最小限の前処理を施したwav2vec 2.0を用いて訓練された、スウェーデン語自動音声認識（ASR）のための新しい単言語音声モデルVoxRexを提示する。VoxRexは、既存の単言語および多言語モデルを上回る性能を示し、文化的遺産機関が高品質で言語固有のラベルなしデータを活用することでAIの民主化を実現する可能性を示している。

ABSTRACT

This paper explains our work in developing new acoustic models for automated speech recognition (ASR) at KBLab, the infrastructure for data-driven research at the National Library of Sweden (KB). We evaluate different approaches for a viable speech-to-text pipeline for audiovisual resources in Swedish, using the wav2vec 2.0 architecture in combination with speech corpuses created from KB's collections. These approaches include pretraining an acoustic model for Swedish from the ground up, and fine-tuning existing monolingual and multilingual models. The collections-based corpuses we use have been sampled from millions of hours of speech, with a conscious attempt to balance regional dialects to produce a more representative, and thus more democratic, model. The acoustic model this enabled, "VoxRex", outperforms existing models for Swedish ASR. We also evaluate combining this model with various pretrained language models, which further enhanced performance. We conclude by highlighting the potential of such technology for cultural heritage institutions with vast collections of previously unlabelled audiovisual data. Our models are released for further exploration and research here: https://huggingface.co/KBLab.

研究の動機と目的

• スウェーデン国立図書館の資料から得たラベルなし音声データを用いて、高精度な単言語音声モデルをスウェーデン語ASRのために開発すること。
• 既存の多言語および単言語モデルをスウェーデン語音声データに対して微調整するのではなく、スクラッチから事前学習する方法の有効性を評価すること。
• 文化的遺産機関が、大規模でラベルなしの音声アーカイブを活用することで、最先端のASRシステムの訓練に貢献し、AIの民主化を推進できる可能性を示すこと。
• スウェーデン語のような低リソース言語のASRを実現するため、教師なしおよび自己教師あり学習の潜在的可能性を検討すること。
• 今後の研究や下流の応用を支援するため、自由に利用可能な高品質なASRモデルとコーパスを公開すること。

提案手法

• スウェーデン国立図書館のアーカイブから、地域放送（P4）、ポッドキャスト、オーディオブックのラベルなし音声を抽出し、地域方言の多様性に配慮してP4音声コーパスを構築した。
• P4コーパスを用いて、最小限の前処理（音声活動検出のみ）で音声セグメントを特定し、wav2vec 2.0アーキテクチャに基づく新しい単言語音声モデルVoxRexを訓練した。
• スウェーデン語用の標準ASRベンチマークを用いて、VoxRexを既存モデル（単言語のVoxPopuli-svおよび多言語のXLSR-53）と比較評価した。
• さまざまな事前学習済み言語モデルとVoxRexを組み合わせることで性能を向上させ、自動音声認識の正確性を向上させた。
• 再現性とアクセス可能性を確保するため、モデルの訓練・微調整・デプロイに、Facebook AIおよびHugging Faceのオープンソースツールを活用した。
• VoxRexおよびその微調整版をHugging FaceにCC0ライセンスで公開し、広範な再利用とさらなる研究を可能にした。

実験結果

リサーチクエスチョン

• RQ1 スウェーデン国立図書館の文化的遺産資料から得たラベルなし音声のみを用いて、高精度な単言語ASRモデルをスクラッチから訓練できるか？
• RQ2 地域方言のバランスが取れた公共放送やその他のソースから構築された多様なコーパスで訓練されたモデルは、既存の多言語および単言語モデルと比較して、ASRの正確性においてどのように差をつけるか？
• RQ3 国家アーカイブから得た大規模なラベルなし音声を用いた教師なし事前学習によって、商業的または高リソースのデータソースへの依存をどれほど軽減できるか？
• RQ4 自己教師あり音声モデルと事前学習済み言語モデルを組み合わせることで、スウェーデン語音声認識の性能をさらに向上させられる可能性はどの程度か？
• RQ5 膨大なラベルなし音声アーカイブを保有する文化的遺産機関は、どのようにして国家AIインfraの構築に積極的かつ中心的な役割を果たせるか？

主な発見

• P4コーパスで訓練された単言語音声モデルVoxRexは、単語単位のスウェーデン語ASRベンチマークで、既存のモデル（単語単位のVoxPopuli-svおよび多言語のXLSR-53）を上回った。
• VoxRexと事前学習済み言語モデルを組み合わせることで、ASR性能がさらに向上した。これは、音声モデルと言語モデルの間で強い相乗効果があることを示している。
• 地域方言および発話者に多様性を持つP4コーパスは、より包括的かつ民主的なモデルの構築に貢献した。
• 最小限の前処理（音声活動検出のみ）でさえ、VoxRexは最先端の性能を達成した。これは、wav2vec 2.0アーキテクチャが多様で現実世界の音声に対して非常に頑健であることを示している。
• 本モデルの成功は、国家図書館や文化的遺産機関が、既存のラベルなし音声アーカイブを活用することで、低リソース言語のAIイノベーションを牽引できる可能性を示している。
• CC0ライセンスでVoxRexを公開したことで、広範な再利用と微調整が可能となり、スウェーデン語NLPおよび音声分析分野における下流の研究や応用を支援した。