[論文レビュー] HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models

Chen Chen, Yuchen Hu+4 more|arXiv (Cornell University)|Sep 27, 2023

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いた生成的音声認識エラー補正のための最初のオープンベンチマークであるHyPoradiseを紹介する。本研究では、多様な音声ドメインにわたる33万4千組のN-best仮説–トランスクリプションペアを含む新規データセットを提案し、LLMが再ランク付けではなく直接補正済みトランスクリプションを生成できるようにする。この手法により、文脈的推論を活用して欠落したトークンを回復・誤りを是正することで、従来の再ランク付けの限界を超えた著しいWER低減が達成された。

ABSTRACT

Advancements in deep neural networks have allowed automatic speech recognition (ASR) systems to attain human parity on several publicly available clean speech datasets. However, even state-of-the-art ASR systems experience performance degradation when confronted with adverse conditions, as a well-trained acoustic model is sensitive to variations in the speech domain, e.g., background noise. Intuitively, humans address this issue by relying on their linguistic knowledge: the meaning of ambiguous spoken terms is usually inferred from contextual cues thereby reducing the dependency on the auditory system. Inspired by this observation, we introduce the first open-source benchmark to utilize external large language models (LLMs) for ASR error correction, where N-best decoding hypotheses provide informative elements for true transcription prediction. This approach is a paradigm shift from the traditional language model rescoring strategy that can only select one candidate hypothesis as the output transcription. The proposed benchmark contains a novel dataset, HyPoradise (HP), encompassing more than 334,000 pairs of N-best hypotheses and corresponding accurate transcriptions across prevalent speech domains. Given this dataset, we examine three types of error correction techniques based on LLMs with varying amounts of labeled hypotheses-transcription pairs, which gains a significant word error rate (WER) reduction. Experimental evidence demonstrates the proposed technique achieves a breakthrough by surpassing the upper bound of traditional re-ranking based methods. More surprisingly, LLM with reasonable prompt and its generative capability can even correct those tokens that are missing in N-best list. We make our results publicly accessible for reproducible pipelines with released pre-trained models, thus providing a new evaluation paradigm for ASR error correction with LLMs.

研究の動機と目的

• ノイズ、発音の違い、話し方の違いといった悪条件下での自動音声認識（ASR）における耐障害性のギャップを是正すること。
• 従来の言語モデル再スコアリングの限界を克服すること。これは、最良候補を選択した後、N-best仮説をすべて破棄してしまう点に起因する。
• LLMを活用してN-best仮説から補正済みトランスクリプションを生成することで、ASRエラー補正の新しいパラダイムを提唱すること。
• LLM強化ASRシステムの評価を可能にする、多様で現実世界の音声ドメインを含む再現可能でオープンソースのベンチマークを確立すること。
• 低リソースまたはドメイン特化した状況における実用的導入を可能にする、ゼロショット、フェイシュー、ファインチューニング設定を可能とすること。

提案手法

• 著者らは、ノイズ、発音の違い、文脈的に複雑な音声ドメインにおける最先端ASRシステムから得た、33万4千を越えるN-best仮説と正解トランスクリプションのペアを含むHyPoradise（HP）データセットを構築した。
• ベンチマークは3つの設定をサポートする：ゼロショット（ラベルなしデータ）、フェイシュー（少数のドメイン内ペア）、ファインチューニング（十分な訓練データ）。これらは、実世界の導入制約を模倣している。
• LLMは、リストから選択する代わりに、N-best仮説から直接正しいトランスクリプションを生成するようにプロンプトされる。
• この手法は、LLMの生成的機能を活用して、N-bestリストに存在しない欠落または誤ったトークンを回復させることで、再ランク付けを超えた補正を可能にする。
• 評価は語誤り率（WER）を用い、今後はエンティティスパンや依存解析といった構造的アノテーションへの拡張を計画している。
• フレームワークは公開されており、事前学習済みモデル、コード、HuggingFaceのデータセットカードを併記することで、再現性とコミュニティ貢献を確保している。

Figure 1: The left part shows the pipeline to generate the N-best hypotheses using a vanilla ASR engine with beam search decoding. The right part counts the probabilities of case (i) and case (ii) on the test set of LibriSpeech dataset. It indicates the discarded information in $2^{nd}\sim 20^{th}$

実験結果

リサーチクエスチョン

• RQ1 LLMは、複数のN-best仮説を活用することで、従来の再ランク付けを上回るより正確なトランスクリプションを生成できるか？
• RQ2 LLMは文脈的推論を用いて、N-bestリストに存在しないトークンをどの程度回復できるか？
• RQ3 低リソースまたはドメイン特化した状況における、ゼロショットおよびフェイシューのLLMプロンプティング戦略は、ASRエラー補正においてどの程度効果的か？
• RQ4 提案された生成的補正アプローチは、従来の再スコアリング手法の性能上限を超えるか？
• RQ5 ノイズ、発音の違い、OoV語を含む多様な音声ドメインにおいて、LLMベースの補正はどの程度耐障害性を示すか？

主な発見

• 提案されたLLMベースの生成的補正手法は、従来の再ランク付け手法を上回る著しい語誤り率（WER）の低減を達成した。
• N-bestリストに存在しない欠落または誤ったトークンを回復することで、従来の再スコアリングの性能上限を超えた。
• ゼロショットおよびフェイシュー設定において、適切なプロンプティングを施したLLMは強力な誤り補正性能を示し、ドメイン間での一般化能力を示した。
• LLMは、N-best仮説にまったく存在しない単語であっても、文脈的・言語的知識を活用して正しく推論・生成することができた。
• HyPoradiseベンチマークは再現可能な評価を可能にし、ノイズ耐性および多言語ASRシナリオを含むように更新が継続して行われている。
• データセットおよびモデルはGitHubおよびHuggingFaceを通じて公開されており、コミュニティによる拡張および長期的メンテナンスを支援している。

Figure 2: A scalable evaluation of Task-Activating Prompting [ 100 ] (TAP) based in-context learning. The demonstration in blue box is drawn from the training set, which is optional for LLMs input.