[論文レビュー] Earnings-22: A Practical Benchmark for Accents in the Wild

Miguel del Río, Peter Ha+3 more|arXiv (Cornell University)|Mar 29, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

Earnings-22 は、7 つの地域の発音を含む、世界中の英語圏の収益電話会議を対象とした 119 時間の無料利用可能なベンチマークを提供し、実世界の発音語りの ASR モデルのパフォーマンスを評価する。研究では、アジア、その他のロマンス系、スペイン語・ポルトガuese語圏の発音において、統計的に有意な WER の差異が明らかになった。これは、全体的な WER の向上にもかかわらず、商業用 ASR システムにおける継続的なバイアスを示している。

ABSTRACT

Modern automatic speech recognition (ASR) systems have achieved superhuman Word Error Rate (WER) on many common corpora despite lacking adequate performance on speech in the wild. Beyond that, there is a lack of real-world, accented corpora to properly benchmark academic and commercial models. To ensure this type of speech is represented in ASR benchmarking, we present Earnings-22, a 125 file, 119 hour corpus of English-language earnings calls gathered from global companies. We run a comparison across 4 commercial models showing the variation in performance when taking country of origin into consideration. Looking at hypothesis transcriptions, we explore errors common to all ASR systems tested. By examining Individual Word Error Rate (IWER), we find that key speech features impact model performance more for certain accents than others. Earnings-22 provides a free-to-use benchmark of real-world, accented audio to bridge academic and industrial research.

研究の動機と目的

• ASR システムのベンチマークに用いる、実世界の発音語りのコーパスが不足しているという問題に対処すること。
• 世界中の企業の実世界の発音語りの英語に対して、商業用 ASR モデルのパフォーマンスを評価すること。
• WER および IWER メトリクスを用いて、地域発音ごとのシステム的パフォーマンス格差を特定すること。
• 埋め込みポーズや語の断片といった特定のトランスクリプト特徴が、発音ごとに ASR の誤り率にどのように影響するかを分析すること。
• 公開可能な多様なコーパスを活用して、現在のモデルに見られるバイアスを暴露し、ASR の公平な開発を促進すること。

提案手法

• 27 か国から 125 通の収益電話会議を収集し、企業の本部所在地に基づいて 7 つの地域発音グループに分類した。
• 人間によるトランスクリプションを実施し、その後の検証と NER タギングを経て、高品質な verbatim トランスクリプトを生成した。
• メタデータとトークン化を含む、標準化された $.nlp$ 形式に変換した。
• IWER の発音地域間の差を比較するために、モンテカルロ順列検定を適用した。
• WER および IWER を用いて、地域や埋め込みポーズや語の断片といった言語的特徴ごとのモデルパフォーマンスの差を測定した。
• 言語的および地理的グループ化に基づいて地域を定義し、ナイジェリア語やガーナ語など、代表が不足している発音に特に注意を払った。

実験結果

リサーチクエスチョン

• RQ1 商業用 ASR モデルは、実世界の収益電話会議におけるさまざまな地域発音で、どのように性能を発揮するか？
• RQ2 発音ごとのパフォーマンス格差は、統計的に有意なものであり、それともランダムなばらつきによるものか？
• RQ3 埋め込みポーズや語の断片といったトランスクリプト特徴のうち、どの特徴が発音ごとに ASR の誤り率に最も顕著に影響を与えるか？
• RQ4 モデルの誤りは、特定の地域発音の言語的・音声的特徴とどの程度相関しているか？
• RQ5 公開可能な多様な発音語りコーパスは、ASR システムにおけるバイアスの検出および是正にどの程度寄与できるか？

主な発見

• アジア地域は、英語地域と比較して 0.005 水準で統計的に有意な WER の差を示しており、顕著なパフォーマンス劣化を示している。
• その他のロマンス系地域およびスペイン語／ポルトガル語圏地域も、英語地域と比較して 0.05 水準で統計的に有意な WER の差を示している。
• 語の断片は、すべての地域で IWER に強い影響を与え、すべてのケースで p 値が 0.000∗∗ であり、高い統計的有意性を示している。
• 埋め込みポーズは大多数の地域で IWER に影響を与え、以前の研究でそのような影響がないとされたのとは対照的であり、発話の間の発音の違いがモデルの認識に影響を与える可能性を示している。
• 英語およびゲルマン系地域では、埋め込みポーズの直前の語の認識が悪化していたが、アジア地域では、埋め込みポーズの直前の語の認識が良好であった。これは、地域ごとに異なるモデルの混乱を示している。
• すべての地域において、語の断片の認識能力が一貫して低く、p 値が 0.000∗∗ であり、継続的な誤りパターンが確認された。