[論文レビュー] SPGISpeech: 5,000 hours of transcribed financial audio for fully formatted end-to-end speech recognition

Patrick O’Neill, Vitaly Lavrukhin+11 more|arXiv (Cornell University)|Apr 5, 2021

Speech Recognition and Synthesis参考文献 29被引用数 9

ひとこと要約

本稿では、完全に整形された、プロフェッショナルにトランスクリプトされた決算説明会の音声データを含む5,000時間の英語音声対テキストコーパス、SPGISpeechを紹介する。これにより、大文字、句読点、固有名称の正しい表記を含む完全な語彙的表記を予測するエンド・ツー・エンドのニューラル音声認識が可能になる。このコーパスで訓練されたConformerベースのモデルは、文字誤り率（CER）1.7を達成し、エンド・ツー・エンドの語彙的表記音声認識が実現可能で効果的であることを示している。

ABSTRACT

In the English speech-to-text (STT) machine learning task, acoustic models are conventionally trained on uncased Latin characters, and any necessary orthography (such as capitalization, punctuation, and denormalization of non-standard words) is imputed by separate post-processing models. This adds complexity and limits performance, as many formatting tasks benefit from semantic information present in the acoustic signal but absent in transcription. Here we propose a new STT task: end-to-end neural transcription with fully formatted text for target labels. We present baseline Conformer-based models trained on a corpus of 5,000 hours of professionally transcribed earnings calls, achieving a CER of 1.7. As a contribution to the STT research community, we release the corpus free for non-commercial use at https://datasets.kensho.com/datasets/scribe.

研究の動機と目的

• 完全に整形された語彙的表記（句読点、大文字、固有名称の正しい表記を含む）を含む、公開可能な音声認識データセットの不足を解消すること。
• エンド・ツー・エンドの音声対テキストモデルが、音声から直接完全な英語語彙的表記を予測できることを示し、精度を向上させるとともにパイプラインを簡素化すること。
• 研究コミュニティ向けに、高品質で大規模な実世界の財務決算説明会音声データを、プロフェッショナルにトランスクリプトしたコーパスをリリースすること。
• 音声内の音声的手がかりが、通常のSTTパイプラインで後処理で推定されることが多い句読点や大文字の予測を正確に行えることを示すこと。
• ターゲット出力が単なる正規化トランスクリプトではなく、完全に整形されたテキストであるコーパスでモデルを訓練することで、エンド・ツー・エンド音声認識の新しいベンチマークを確立すること。

提案手法

• SPGISpeechコーパスは、実際の企業決算説明会の電話会議録音を5,000時間分含み、完全な語彙的表記で手動でトランスクリプトされたものである。
• データセットには、多様なL1およびL2アクセントを持つ50,000人の発話者が含まれ、ビジネスおよび金融分野の自然な会話および説明的発話がカバーされている。
• ベースラインモデルは、ESPnetおよびNeMoフレームワークを用いて訓練され、12個のエンコーダーブロックと6個のデコーダーブロックを備えたConformerアーキテクチャが採用された。各ブロックには8つのアテンションヘッドと2048個のフィードフォワードユニットが使用された。
• モデルはCTCと交差エントロピー損失を用いて訓練され、データオーグメンテーションにはSpecAugmentが使用され、2つの周波数マスクと5つの時間マスクが設定された。
• 語彙は約5,000のトークンで構成され、データセットに含まれるすべての文字（アルファベット、数字、句読点、特殊記号）をカバーする。
• モデル推論にはグリーディデコードが用いられ、最終的なモデルは10番目に成績の良かったチェックポイントのアンサンブルによって構成され、耐性を高めた。

Figure 1: Distribution of Speakers by Global Region. Speaker distribution is estimated in a random sample according to reported region of corporate domicile.

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの音声認識モデルは、生の音声から直接、句読点、大文字、固有名称の正しい表記を含む完全な英語語彙的表記を予測できるか？
• RQ2 音声内の音声的手がかりが、通常のSTTパイプラインで後処理で推定されることが多いフォーマット特徴（句読点、大文字など）をどれほど正確に予測できるか？
• RQ3 語彙的表記STTタスクにおけるエンド・ツー・エンド性能は、標準的な正規化トランスクリプトタスクと比較して、文字誤り率および単語誤り率の観点でどの程度優れているか？
• RQ4 全体のモデル誤りのうち、フォーマット関連の誤りが占める割合はどの程度か。また、そのうちどれくらいが、根本的に解消できないラベルの曖昧さに起因するか？
• RQ5 大規模でプロフェッショナルにトランスクリプトされた実世界の財務音声のコーパスは、完全に整形されたエンド・ツー・エンドSTTシステムを高精度に訓練するのに適しているか？

主な発見

• SPGISpeechで訓練されたConformerモデルは、テストセットにおいて完全に整形された語彙的表記を予測する際、文字誤り率（CER）1.7%を達成した。
• 同じモデルの単語誤り率（WER）は5.7%であり、フォーマット予測の複雑さにもかかわらず、優れた性能を示している。
• 小文字に正規化し、基本的な文字に限定した場合、CERは1.0%に低下し、誤りの半数以上がフォーマット関連の問題に起因していることが示された。
• Conformer-CTCバージョンは、語彙的表記タスクでCER 1.8%を達成し、非自己回帰モデルでもエンド・ツー・エンドのフォーマット予測において高い精度を達成できることを確認した。
• 研究では、プロソディックな手がかりを用いて音声モデルが語彙的特徴（句読点、大文字など）を学習し、後処理パイプラインへの依存を減らすことができることを示した。
• SPGISpeechのリリースにより、完全に整形されたトランスクリプトを備えた、公開済みの最大規模のコーパスが得られ、今後のエンド・ツー・エンド語彙的表記STT研究を可能にした。