[論文レビュー] Boosting Norwegian Automatic Speech Recognition

Javier de la Rosa, Rolv-Arild Braaten+3 more|arXiv (Cornell University)|Jul 4, 2023

Speech Recognition and SynthesisComputer Science被引用数 3

ひとこと要約

この論文は、ノルウェーのボクメールおよびニュノルスク向けに、wav2vec 2.0アーキテクチャを用いて微調整された改善された自動音声認識（ASR）モデルを提示している。ノルウェー語の音声データセット（NPSCおよびNSTを含む）を用いて微調整された本モデルは、ボクメールで5.81%のWERを達成し、ニュノルスクで11.54%のWERを記録し、これまでのモデルを大きく上回り、出域外のFLEURSデータに対しても、より大きなWhisperモデルをも凌駕する。

ABSTRACT

In this paper, we present several baselines for automatic speech recognition (ASR) models for the two official written languages in Norway: Bokmål and Nynorsk. We compare the performance of models of varying sizes and pre-training approaches on multiple Norwegian speech datasets. Additionally, we measure the performance of these models against previous state-of-the-art ASR models, as well as on out-of-domain datasets. We improve the state of the art on the Norwegian Parliamentary Speech Corpus (NPSC) from a word error rate (WER) of 17.10\% to 7.60\%, with models achieving 5.81\% for Bokmål and 11.54\% for Nynorsk. We also discuss the challenges and potential solutions for further improving ASR models for Norwegian.

研究の動機と目的

• ノルウェー語のボクメールおよびニュノルスクの、それぞれ異なる語形変化および音声的特徴を有する公式表記体系に対応する、強固なASRベースラインの開発。
• 計画的発話（NST）と準自由発話（NPSC）を含む多様な音声データセットの組み合わせが、ASR性能に与える影響の評価。
• より大規模かつ多様な学習データを活用することで、特に自由発話である議会会議録音声の認識性能を向上させ、従来の最先端技術を超えること。
• FLEURSのような出域外データセットにおける汎化性能の評価を通じて、域内テストセットにとどまらないモデルの頑健性を検証すること。

提案手法

• ノルウェー語音声データセット（ノルウェー議会会議録コーパス（NPSC）およびNordisk Språkteknologi（NST）データセットを含む）に対して、wav2vec 2.0モデルを微調整。
• 計画的発話（NST）と準自由発話（NPSC）を組み合わせることで、域内および出域外データの両方におけるモデルの汎化能力を向上させ、WERを低減。
• モデルサイズを変えて（300Mおよび1Bパラメータ）、言語モデルの有無を変えて学習することで、モデルスケールおよび言語モデルの認識精度への影響を評価。
• 5-gram言語モデルを適用し、特にノルウェー語の未知語や語形変化が複雑な語の翻訳品質を向上。
• FLEURSのトランスクリプションを、NPSCおよびNSTのフォーマットに合わせて正規化し、一貫性のある評価を可能にする。これには、数字や時間の表記を漢字に変換する処理を含む。
• 最高性能を発揮したモデルおよびコードを公開することで、再現可能性を確保し、ノルウェー語ASR分野における今後の研究を支援。

実験結果

リサーチクエスチョン

• RQ1 計画的発話（NST）と準自由発話（NPSC）を組み合わせることで、ノルウェー語のボクメールおよびニュノルスクにおけるASR性能にどのような影響を与えるか？
• RQ2 より大きなモデルサイズ（300M対1Bパラメータ）は、ノルウェー語ASRベンチマークにおけるWERにどの程度改善をもたらすか？
• RQ3 言語モデルは、語形変化が豊富かつ方言差が大きいノルウェー語発話の認識に顕著に効果を発揮するか？
• RQ4 FLEURSのノルウェー語サブセットのような出域外データに対して、モデルの性能はどの程度汎化するか？
• RQ5 追加の計画的発話データの導入は、自由発話の性能を低下させることなく、モデルの頑健性を向上させるか？

主な発見

• 最良の300Mモデルは、ノルウェー語ボクメールで5.81%のWER、ニュノルスクで11.54%のWERを達成し、NPSCでの従来の最先端技術（17.10%）を大きく上回った。
• 1Bパラメータモデルは、ボクメール（5.81% vs. 7.14% WER）およびニュノルスク（11.54% vs. 12.68% WER）の両方で300Mモデルを上回り、モデル容量の増大による利点を示した。
• NPSCデータセットに400時間以上の計画的発話（NST）を追加したことで、1B設定におけるボクメールのWERは6.41%から5.81%に低下し、多様なデータが性能向上に寄与することを示した。
• 300MモデルはFLEURSノルウェー語テストセットで9.88%のWERを記録し、パrameter数が少ないにもかかわらず、Whisper small（24.20%）を上回り、Whisper large（9.50%）に近づいた。
• NST-NPSC-Bokmål 1BモデルはFLEURSで9.87%のWERを達成し、Whisper large（11.40%）および言語モデルなしの1Bモデルを上回った。
• 言語モデルの追加により、300Mモデルでは最大3.5ポイント、1Bモデルでは最大2.5ポイントのWER低下が確認され、語形変化の複雑さへの対処における有効性が裏付けられた。