[論文レビュー] Scribosermo: Fast Speech-to-Text models for German and other Languages

Daniel Bermuth, Alexander Poeppel+1 more|arXiv (Cornell University)|Oct 15, 2021

Speech Recognition and Synthesis参考文献 19被引用数 4

ひとこと要約

本論文では、ドイツ語、スペイン語、フランス語向けの小型で効率的な音声認識モデルであるScribosermoを紹介する。このモデルは、ドイツ語のベンチマークで最先端の性能を達成するとともに、ラズベリー・パイなどの低消費電力ハードウェアでもリアルタイムで動作する。モデルは事前学習済みの英語モデルからの転移学習と、新しいアルファベット適応技術を活用しており、少量のデータと一般消費者向けのハードウェアで高い精度を達成できる。

ABSTRACT

Recent Speech-to-Text models often require a large amount of hardware resources and are mostly trained in English. This paper presents Speech-to-Text models for German, as well as for Spanish and French with special features: (a) They are small and run in real-time on microcontrollers like a RaspberryPi. (b) Using a pretrained English model, they can be trained on consumer-grade hardware with a relatively small dataset. (c) The models are competitive with other solutions and outperform them in German. In this respect, the models combine advantages of other approaches, which only include a subset of the presented features. Furthermore, the paper provides a new library for handling datasets, which is focused on easy extension with additional datasets and shows an optimized way for transfer-learning new languages using a pretrained model from another language with a similar alphabet.

研究の動機と目的

• ラズベリー・パイのような組み込みシステムで効率的に動作する、ドイツ語および他の言語向けの小型で高速な音声認識モデルの開発。
• 比較的小さなデータセットを用いて、高価なサーバー資材に依存せずに、一般消費者向けハードウェアでもこれらのモデルをトレーニング可能にする。
• ドイツ語音声認識の性能を向上させ、Tudaデータセットで最先端の結果を達成すること。
• 類似した文字体系を持つ言語間での多言語転移学習を容易にする、簡素で拡張可能なデータセット処理フレームワークの提供。
• 英語から他の romance 語へのゼロショットまたは少数ショット転移学習を、ワンステップの適応プロセスで効果的に実現すること。

提案手法

• モデルは、推論速度と低メモリ使用量を最適化した軽量ニューラルネットワークアーキテクチャに基づく。これにより、マイコン上でリアルタイム推論が可能となる。
• 事前学習済みの英語音声認識モデルを、ターゲット言語の文字セットに合わせて出力層を再構成する新しいアルファベット適応技術を用いて微調整する。このプロセスは1ステップのトレーニングで実現される。
• 複数の音声認識フレームワーク間でのデータセット読み込み、前処理、変換を簡素化するため、新しいオープンソースライブラリ「corcua」を導入する。
• データ前処理には、音声と字幕ファイルの自動クリーニングが含まれる。処理の安定性と速度を向上させるために、長さ、字幕長、話速のしきい値に基づく。
• デコード後、5-gram言語モデルによる再スコアリングを実施し、特にドイツ語の字幕品質を向上させる。
• 類似した文字体系を持つ言語間（例：英語→スペイン語、スペイン語→イタリア語）での転移学習を実施。エンコーダーを共有し、出力層のみを適応させる。

実験結果

リサーチクエスチョン

• RQ1 小型で効率的なASRモデルは、ドイツ語、スペイン語、フランス語のベンチマークで競争力のある性能を発揮できるか。また、低消費電力デバイスでリアルタイムで動作可能か？
• RQ2 事前学習済みの英語モデルからの転移学習は、新しい言語モデルのトレーニングに必要なデータ量とハードウェア要件を顕著に削減できるか？
• RQ3 単一ステップのアルファベット適応技術は、従来の微調整アプローチに比べ、新規言語の処理速度と性能で優れているか？
• RQ4 corcuaのような統合的かつ拡張可能なデータセット処理パイプラインは、多様な多言語データセットのASRトレーニング統合を簡素化できるか？
• RQ5 大規模データセットや高価なトレーニングインfraストラクチャを必要とせずに、複数の小さなデータセットを組み合わせることで、モデル性能がどの程度向上するか？

主な発見

• Scribosermoモデルは、ドイツ語CommonVoiceデータセットで6.6%の語誤り率（WER）を達成し、以前のモデルを上回り、ドイツ語音声認識分野で新たな最先端水準を樹立した。
• ドイツ語Tudaデータセットでは10.2%のWERを達成し、IMS-Speechの最高性能モデルと同等の性能を示した。
• モデルはラズベリー・パイ上でリアルタイムで動作し、低消費電力でエッジおよび組み込み環境への展開に適していることを実証した。
• 複数のソースから得たわずか2.4k時間のドイツ語データを用いたトレーニングでも、優れた性能が得られた。これは高いデータ効率性を示している。
• 転移学習アプローチにより、英語からスペイン語（WER: 10.0%）およびフランス語（WER: 11.0%）への効果的適応が可能になった。それぞれ817時間および1028時間のデータで実現された。
• corcuaライブラリのおかげで、777時間のデータセットについて、audiomateを用いた場合の12時間から3時間未満にまでデータ変換時間の短縮が達成され、データパイプラインの効率が著しく向上した。