[論文レビュー] Evaluating User Perception of Speech Recognition System Quality with Semantic Distance Metric

Suyoun Kim, Manh Duc Le+7 more|arXiv (Cornell University)|Oct 11, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、自動音声認識（ASR）出力の品質を、語彙レベルの誤りではなく意味的正しさを測定することによって評価する、事前学習済み言語モデルの埋め込みに基づく意味的距離メトリックであるSemDistを提案する。SemDistは、人間のユーザーの認識および下流のNLUタスクと著しく高い相関を示し、Word Error Rate（WER）を上回ることを示している。71,000および36,000件のユーザーによるアノテーション付きASR評価において、ペアワイズトークンベースのXLM埋め込みが最も優れた性能を示した。

ABSTRACT

Measuring automatic speech recognition (ASR) system quality is critical for creating user-satisfying voice-driven applications. Word Error Rate (WER) has been traditionally used to evaluate ASR system quality; however, it sometimes correlates poorly with user perception/judgement of transcription quality. This is because WER weighs every word equally and does not consider semantic correctness which has a higher impact on user perception. In this work, we propose evaluating ASR output hypotheses quality with SemDist that can measure semantic correctness by using the distance between the semantic vectors of the reference and hypothesis extracted from a pre-trained language model. Our experimental results of 71K and 36K user annotated ASR output quality show that SemDist achieves higher correlation with user perception than WER. We also show that SemDist has higher correlation with downstream Natural Language Understanding (NLU) tasks than WER.

研究の動機と目的

• 従来のWERとASR品質に関する人間のユーザー認識との間の相関の低さを是正すること。
• 事前学習済み言語モデルの埋め込みを用いて測定される意味的正しさが、語彙レベルの誤り率よりもユーザーの判断をよりよく反映するかどうかを評価すること。
• 意味的距離を計算するための複数の戦略を比較し、ユーザー認識モデリングに最も強固な手法を同定すること。
• SemDistが、高価な人間のアノテーションを必要とせずにユーザー満足度を正確に予測するモデルの訓練に有効であることを示すこと。

提案手法

• 事前学習済みトランスフォーマー型言語モデル（例：RoBERTa、XLM）を用いて、参照文と仮説文の意味的埋め込みを計算する。
• 参照文と仮説文の平均プールドまたは[CLS]トークンの埋め込み間のコサイン距離として意味的距離（SemDist）を計算する。
• 4種類のSemDistバリエーションを検討：RoBERTa-平均プール、XLM-平均プール、XLM-[CLS]、XLM-ペアワイズトークン埋め込み手法。
• Pearson相関を用いて、SemDistとWERをユーザーの判断（UserChoice、UserRating）および下流のNLUタスク（意図認識の正答率、EM、EMTree）と比較する。
• WER、SemDist、または両方を入力特徴量として用いて、線形回帰モデルを訓練し、ユーザー評価を予測する。
• WERとSemDistの順位の乖離を分析することで、両者の評価行動の相違を理解する。

実験結果

リサーチクエスチョン

• RQ1 SemDistは、Word Error Rate（WER）よりも、ASR品質に関する人間のユーザー認識とより強く相関するか？
• RQ2 平均プール、[CLS]、ペアワイズトークンなどの、意味的埋め込みの計算方法のうち、ユーザー認識に最も強固なSemDistを生成するのはどれか？
• RQ3 意図認識や意味解析などの下流のNLUタスクのパフォーマンス予測において、SemDistはWERよりも優れているか？
• RQ4 SemDistを用いることで、高価な人間のアノテーションを必要とせずに、ユーザー満足度を正確に予測するモデルを訓練できるか？

主な発見

• SemDistは、全テストデータセットにおいて、WERよりもユーザー認識（UserChoiceおよびUserRating）と著しく高いピアソン相関を示した。
• XLM-ペアワイズトークンのSemDist手法が、ユーザー判断と最も高い相関を示し、RoBERTaベースおよび平均プール変種を上回った。
• SemDistは、下流のNLUタスク（1 - 意図正答率、1 - EM、1 - EMTree）とWERよりも強く相関しており、システムレベルのパフォーマンスとより良い整合性を示した。
• SemDistのみを用いた線形回帰モデルは、ユーザー評価の予測においてR² = 0.35を達成し、WERのみを用いたモデル（R² = 0.12）を上回った。
• SemDistに基づくモデルは、MAE（平均絶対誤差）が0.29を達成し、WERとSemDistの両方を用いた最良のモデルと同等の性能を示した。これは、SemDistの強力な予測能力を示している。
• SemDistは、WERが区別できない意味的に無意味な誤り（例：'cancel an alarm' と 'set a alarm'）を効果的にペナルティとして処理でき、意味的感度の高さを示している。