[論文レビュー] GigaSpeech: An Evolving, Multi-domain ASR Corpus with 10,000 Hours of Transcribed Audio

Guoguo Chen, Shuzhou Chai+19 more|arXiv (Cornell University)|Jun 13, 2021

Speech Recognition and Synthesis参考文献 17被引用数 20

ひとこと要約

この論文は、オーディオブック、ポッドキャスト、YouTubeから得た高品質な音声データを含む10,000時間にのぼる大規模で進化し続ける多分野にまたがる英語音声認識（ASR）コーパス、GigaSpeechを紹介する。読み言葉と即興の話法を含む多様なトピックをカバーしている。本研究では、低品質なトランスクリプションをフィルタリングするための新しい強制アラインメントおよびセグメンテーションパイプラインを提案し、10時間から10,000時間までの訓練サブセットをWord Error Rate（WER）が0%（XLを除き4%まで）に制限されるように構築した。また、Kaldi、ESPnet、Athena、Pikaの主要ツールキットにおけるベースラインシステムを提供し、テストセットで最低10.80%のWERを達成した。

ABSTRACT

This paper introduces GigaSpeech, an evolving, multi-domain English speech recognition corpus with 10,000 hours of high quality labeled audio suitable for supervised training, and 40,000 hours of total audio suitable for semi-supervised and unsupervised training. Around 40,000 hours of transcribed audio is first collected from audiobooks, podcasts and YouTube, covering both read and spontaneous speaking styles, and a variety of topics, such as arts, science, sports, etc. A new forced alignment and segmentation pipeline is proposed to create sentence segments suitable for speech recognition training, and to filter out segments with low-quality transcription. For system training, GigaSpeech provides five subsets of different sizes, 10h, 250h, 1000h, 2500h, and 10000h. For our 10,000-hour XL training subset, we cap the word error rate at 4% during the filtering/validation stage, and for all our other smaller training subsets, we cap it at 0%. The DEV and TEST evaluation sets, on the other hand, are re-processed by professional human transcribers to ensure high transcription quality. Baseline systems are provided for popular speech recognition toolkits, namely Athena, ESPnet, Kaldi and Pika.

研究の動機と目的

• 古くさく規模が限定されたコーパスによるASR性能の停滞を是正するため、大規模で進化し続ける多分野にまたがる音声認識データセットを構築すること。
• 多様な音声ソースから高品質かつセグメント化された音声認識コーパスを生成するためのスケーラブルで信頼性の高いパイプラインを開発すること。
• 10時間から10,000時間までのさまざまなサイズの訓練および評価サブセット（厳密なトランスクリプション品質管理を伴う）を提供し、強固なモデル訓練とベンチマーク評価を可能にすること。
• 後処理のための元のトランスクリプションと正規化済みトランスクリプションのペアを含めることで、エンドツーエンドASRの訓練を支援すること。
• Kaldi、ESPnet、Athena、Pikaといった主要ASRツールキット間で再現可能なベースラインを提供し、公平な比較とシステム開発を可能にすること。

提案手法

• オーディオブック、ポッドキャスト、YouTubeから、多様なトピックと話し方をカバーする約40,000時間の生の音声を収集する。
• 文単位の音声セグメントとアラインされたトランスクリプションを生成するための新しい強制アラインメントおよびセグメンテーションパイプラインを適用する。
• 語彙誤り率（WER）のしきい値を用いて低品質なセグメントをフィルタリングする：すべてのサブセットで0%（XLサブセットを除き4%まで）。
• XSからXLまでの5つの訓練サブセットを、音声ソースと話し方の割合に応じて作成する。
• DEVおよびTESTセットをプロフェッショナルな人間のトランスクリプターが再処理し、高品質なトランスクリプションの正確性を保証する。
• 標準的なアーキテクチャ（例：コンフォーマー、RNN-T、チェーンモデル）を用い、標準化された訓練およびデコードプロトコルに従って、Kaldi、ESPnet、Athena、Pikaにおけるベースラインモデルを提供する。

Figure 1: A snip of the metadata file GigaSpeech.json

実験結果

リサーチクエスチョン

• RQ1 多様なWebソースから、高品質なトランスクリプションを備えた大規模で多分野にまたがる、多様な話し方を含むASRコーパスを体系的に構築することは可能か？
• RQ2 提案された強制アラインメントおよびセグメンテーションパイプラインは、低品質なトランスクリプションを効果的にフィルタリングしつつ、高品質なセグメントを保持するのにどの程度有効か？
• RQ3 GigaSpeechのような標準化され高品質なコーパスにおいて、訓練データ量の増加に伴いモデル性能がどの程度向上するか？
• RQ4 主要ASRツールキット（Kaldi、ESPnet、Athena、Pika）におけるベースラインシステムは、同じ標準化された評価セットでどの程度の性能を示すか？相対的なWERは？
• RQ5 提案されたコーパスとパイプラインは、再現可能なベンチマーク評価を可能にし、エンドツーエンドASR研究の進展を促進できるか？

主な発見

• ESPnetのコンフォーマー/トランスフォーマー-AEDモデルを用いたGigaSpeech XL訓練サブセットでは、テストセットで10.80%のWERを達成し、大規模で高品質なコーパスにおける優れた性能を示した。
• Kaldiのチェーンモデルベースラインは、XLサブセットで14.84%のWERを達成し、標準的なアーキテクチャですらコーパスの規模と品質の恩恵を受けることを示した。
• KaldiベースラインのWERは、訓練サブセットのサイズが大きくなるにつれて一貫して改善され、XS（10時間）で22.59%からXL（10,000時間）で14.84%に低下した。これはデータ規模の恩恵を確認した。
• PikaのRNN-Tモデルは、DEVおよびTESTセットの両方で12.30%のWERを達成し、XLサブセットにおける優れた一般化性能を示した。
• AthenaのTransformer-AEDモデルは、TESTセットで12.70%のWERを報告し、ツールキット間で競争力のある性能を示した。
• 評価セットはプロフェッショナルなトランスクリプターによって再処理されたため、高品質なトランスクリプションが保証され、信頼性の高いベンチマーク評価が可能になった。

Figure 2: A forced alignment graph for the sentence “ $<$ s $>$ A B C D E $<$ /s $>$ ” (4-gram)