[論文レビュー] Prioritizing Speech Test Cases

Zhou Yang, Jieke Shi+5 more|arXiv (Cornell University)|Feb 1, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、事前学習済み言語モデルを用いて、音声認識システム（ASR）のテストケースを、どの語が誤認識されやすいかを予測することで、実行せずに誤認識の可能性が高い語を特定し、優先順位をつけるツールであるProphetを提案する。3つのASRシステムと12のデータセットで評価した結果、同じテスト予算のもとで、最先端の手法よりも12.63%多くの誤認識語を特定できた。

ABSTRACT

With the wide adoption of automated speech recognition (ASR) systems, it is increasingly important to test and improve ASR systems. However, collecting and executing speech test cases is usually expensive and time-consuming, motivating us to strategically prioritize speech test cases. A key question is: how to determine the ideal order of collecting and executing speech test cases to uncover more errors as early as possible? Each speech test case consists of a piece of audio and the corresponding reference text. In this work, we propose PROPHET (PRiOritizing sPeecH tEsT), a tool that predicts potential error-uncovering speech test cases only based on their reference texts. Thus, PROPHET analyzes test cases and prioritizes them without running the ASR system, which can analyze speech test cases at a large scale. We evaluate 6 different prioritization methods on 3 ASR systems and 12 datasets. Given the same testing budget, we find that our approach uncovers 12.63% more wrongly recognized words than the state-of-the-art method. We select test cases from the prioritized list to fine-tune ASR systems and analyze how our approach can improve the ASR system performance. Statistical tests show that our proposed method can bring significantly larger performance improvement to ASR systems than the existing baseline methods. Furthermore, we perform correlation analysis and confirm that fine-tuning an ASR system using a dataset, on which the model performs worse, tends to improve the performance more.

研究の動機と目的

• ASRシステムのテストにおいて、音声テストケースの収集と実行にかかる高コストと時間消費を軽減すること。
• 限られたリソースのもとで、早期に誤りを検出できるテストケースの優先順位付け戦略を特定すること。
• 音声データやASR実行を一切行わずに、参照テキスト内の誤認識されやすい語を予測する手法を開発すること。
• 予測された誤認識可能性に基づいてテストケースを優先順位付けすることで、ASRモデルのファインチューニングに与える効果が向上するかを評価すること。
• テストケースセットのどの特徴がASR性能の向上と最も強く相関しているかを調査すること。

提案手法

• Prophetは、事前学習済み言語モデル（例：BERT、RoBERTa）を用いて、参照テキストの単語レベルで分析し、ASRシステムがどの語を誤認識しやすいかを予測する。
• 個々の語の認識難易度を予測した上で、各テストケースごとに包括的な誤りスコアを計算し、誤りを引き出す可能性を反映する。
• 誤りスコアには、文脈埋め込みから得られる語のレアリティ、発音の複雑さ、文脈的曖昧さといった言語的特徴が統合される。
• テストケースは全体の誤りスコアに基づいて順位付けされ、ASRモデルを実行せずに収集や実行の優先順位を決定できる。
• 本手法は、3つのASRシステムと12の多様なデータセットを用いて評価され、固定されたテスト予算のもとで、優先順位付け戦略を比較した。
• ファインチューニング実験は、Prophetとベースラインによって選択されたテストケースを用いて実施され、モデル性能の向上を評価した。

実験結果

リサーチクエスチョン

• RQ1 音声データやモデル推論を一切行わずに、参照テキスト内の語がASRシステムで誤認識されやすいかどうかを、テキストのみで予測できるか？
• RQ2 予測された誤認識可能性に基づいてテストケースを優先順位付けすることで、従来の手法よりも早期かつ包括的な誤り検出が可能になるか？
• RQ3 Prophetによって選択されたテストケースを用いたASRモデルのファインチューニング性能は、ベースラインで選択されたものと比べて顕著に向上するか？
• RQ4 テストケースセットのどの特徴がASRモデル性能の向上と最も強く相関しているか？
• RQ5 テストセットにおける元のモデルのWERは、発音素の豊富さやトライフォンの多様性よりも、ファインチューニング効果の予測に優れているか？

主な発見

• Prophetが優先順位をつけるテストセットでは、2番目に優れた手法よりも12.63%高い単語誤り率（WER）を達成しており、同じ予算のもとではるかに多くの誤りが特定された。
• Prophetによって選択されたテストケースを用いたASRモデルのファインチューニングは、4つのベースライン手法よりも顕著に高い性能向上を示した。
• テストセットにおける元のモデルのWERが、ファインチューニング効果の予測において最も強い予測因子であり、発音素の豊富さやトライフォンの多様性といった特徴を上回った。
• 誤りの可能性を予測するというアプローチを採用したProphetは、発音的多様性を優先する手法を上回り、誤りの潜在的リスクが言語的カバレッジよりもより良い指標であることを示した。
• 統計的分析により、予測誤りスコアがより高いテストケースは、より効果的なモデルファインチューニングをもたらすことが確認され、本手法の設計の妥当性が裏付けられた。
• 再現性と今後の研究を支援するため、再現用パッケージを公開した。