[論文レビュー] Semantic-WER: A Unified Metric for the Evaluation of ASR Transcript for End Usability

Somnath Roy|arXiv (Cornell University)|Jun 3, 2021

Speech Recognition and Synthesis参考文献 25被引用数 6

ひとこと要約

本稿では、下流の使用可能性に与える影響、特に名前付きエンティティ抽出やセンチメント分析のようなタスクにおいて、語の意味的重要度に基づいて語に重みを割り当てる仕組みを組み込んだ統合的メトリクスであるSemantic-WER（SWER）を提案する。名前付きエンティティやセンチメント語など、重要な語に高い重みを割り当てることで、SWERはWERよりも人間の判断と相関性が高く、デフォルトの重みを使用した場合、人間評価スコア（HWER）との相関が0.85に達する。

ABSTRACT

Recent advances in supervised, semi-supervised and self-supervised deep learning algorithms have shown significant improvement in the performance of automatic speech recognition(ASR) systems. The state-of-the-art systems have achieved a word error rate (WER) less than 5%. However, in the past, researchers have argued the non-suitability of the WER metric for the evaluation of ASR systems for downstream tasks such as spoken language understanding (SLU) and information retrieval. The reason is that the WER works at the surface level and does not include any syntactic and semantic knowledge.The current work proposes Semantic-WER (SWER), a metric to evaluate the ASR transcripts for downstream applications in general. The SWER can be easily customized for any down-stream task.

研究の動機と目的

• ASRトランスクリプトの下流の使用可能性を評価するWERの限界を是正すること、特にSLUや情報検索のようなタスクにおいて。
• 意味理解への実世界の影響を反映する統合的でカスタマイズ可能なメトリクスを開発すること。
• 機能語とは異なり、名前付きエンティティやセンチメント語のような重要な語の誤りに対して、より重視するようにペナルティを強化することで、評価の正確性を向上させること。
• メトリクスが[0, 1]の範囲に収まるように保証し、人間の誤り深刻度の認識とより一致させること。
• CRMデータを活用する組織が利用可能な実用的で拡張可能なフレームワークを提供し、固有名の綴りの誤りを部分的に許容可能にする。

提案手法

• SWERは、語の意味的影響が全体の発話意味に与える影響を反映する語レベルの重要度重み（IW）を導入することで、WERを拡張する。
• 重要度重みは、語の意味的距離と、その語が省略または置換された場合の文の意図への影響に基づいて計算され、特に名前付きエンティティやセンチメント語に対して重点を置く。
• エンティティの場合、設定可能な割引（例：'harvey' という名前のスペルミスで1文字欠けている場合、ペナルティを軽減）を可能とし、CRMデータを活用して文脈に応じた誤り許容性を実現する。
• メトリクスは参照文と仮説文の長さを両方で正規化することで、[0, 1]の範囲に収まる出力を保証する。これは標準WERとは異なり、出力が有界である。
• SWERはカスタマイズ可能である。意味的距離が不十分な特定の語やフレーズに対して、ユーザーが独自の重要度重みを定義できる。
• 方法は語レベルの編集操作（挿入・削除・置換）をレーベンシュタイン距離によるアラインメントで処理するが、影響を受ける語の重要度に基づいて、置換・削除・挿入の各操作に重みを再設定する。

実験結果

リサーチクエスチョン

• RQ1 WERは、感情分析や名前付きエンティティ認識のような下流タスクにおけるASRトランスクリプトの真の使用可能性をどのように反映していないか？
• RQ2 意味的重要度重みを組み込むことで、自動メトリクスと人間によるトランスクリプト品質評価との相関性がどの程度向上するか？
• RQ3 [0, 1]の範囲に収まり、かつ実世界のASR誤りの影響をよりよく反映する統合的でカスタマイズ可能なメトリクスを設計できるか？
• RQ4 SWERは、名前付きエンティティやセンチメント関連の発話において、WERや人間評価（HWER）と比較して、どのような誤りタイプに対して優れた性能を示すか？
• RQ5 名前付きエンティティの数が異なる文に対して、SWERの最適なデフォルト重要度重みは何か？

主な発見

• デフォルトの重要度重み（IW=1）を使用したSWERは、人間評価スコア（HWER）との相関が0.85に達し、標準WERの0.7未満にとどまる相関性を大きく上回る。
• 名前付きエンティティが1つの文（Cat-I）では、SWER_IW=1がHWERとの相関が最も高く、デフォルト重みが単純なケースにおいて有効であることを示している。
• 2つ以上のエンティティを含む文（Cat-IIおよびCat-III）では、IW=2のSWERがIW=1よりもHWERとの相関が高くなるため、複雑な文ではより高い重みが必要であると示唆している。
• 名前付きエンティティが部分的に転写された場合（例：'h r v e y' が 'h a r v e y' に）、SWERは設定可能なエンティティレベルの割引によりペナルティを軽減し、現実世界の許容性を反映している。
• 同じWERを持つ仮説でも意味的影響が著しく異なる場合（例：'thank you' と 'f*ck you'）、SWERは意味的に有害な誤りに対して高いスコアを割り当て、その差を明確に識別している。
• 誤りスコアの分布から、SWERは人間の認識をよりよく捉えており、全カテゴリにおいてSWERとHWERの一致がWERとHWERのそれよりも顕著に高いことが示されている。