[論文レビュー] Semantic Distance: A New Metric for ASR Performance Analysis Towards Spoken Language Understanding

Suyoun Kim, Abhinav Arora+5 more|arXiv (Cornell University)|Apr 5, 2021

Topic Modeling参考文献 29被引用数 5

ひとこと要約

本論文は、RoBERTaベースの文埋め込みを用いて参照文と仮説文の間の意味的類似度を測る新しいASR評価指標である意味的距離（SemDist）を提案する。Word Error Rate（WER）とは異なり、SemDistは下流のNLU性能とより強く相関しており、WERが変化しない状態でも、低いSemDistは高い意図認識正答率、エンティティ抽出のF1スコア、意味解析の品質を予測する。

ABSTRACT

Word Error Rate (WER) has been the predominant metric used to evaluate the performance of automatic speech recognition (ASR) systems. However, WER is sometimes not a good indicator for downstream Natural Language Understanding (NLU) tasks, such as intent recognition, slot filling, and semantic parsing in task-oriented dialog systems. This is because WER takes into consideration only literal correctness instead of semantic correctness, the latter of which is typically more important for these downstream tasks. In this study, we propose a novel Semantic Distance (SemDist) measure as an alternative evaluation metric for ASR systems to address this issue. We define SemDist as the distance between a reference and hypothesis pair in a sentence-level embedding space. To represent the reference and hypothesis as a sentence embedding, we exploit RoBERTa, a state-of-the-art pre-trained deep contextualized language model based on the transformer architecture. We demonstrate the effectiveness of our proposed metric on various downstream tasks, including intent recognition, semantic parsing, and named entity recognition.

研究の動機と目的

• 下流の自然言語理解（NLU）タスクにおけるASRシステムの評価に用いられるWord Error Rate（WER）の限界を是正すること。
• 文字通りの単語レベルの正確性ではなく、意味的正しさを捉える指標の開発。
• 文埋め込み空間における意味的類似度が、WERよりもNLU性能と強い相関を示すかどうかの評価。
• 同じWERであっても、意味的により近い仮説を選別できるため、SemDistがモデル選定を支援できることの実証。
• 将来的なエンドツーエンドASRシステムにおいて、SemDistを学習目的関数として用いる可能性の探求。

提案手法

• 最先端の事前学習済みトランスフォーマー基盤言語モデルであるRoBERTaを用い、参照文と仮説文のペアの文脈に応じた文埋め込みを生成する。
• 参照文とASR仮説文の文の埋め込み間のコサイン類似度として意味的距離を計算する。
• SemDistをコサイン類似度の補数（1 - コサイン類似度）として定義し、値が低いほど意味的類似度が高いことを示す。
• 意味的豊かで頑健な文表現を確保するため、大規模な事前学習コーパス上でRoBERTaを訓練および微調整する。
• 得られた埋め込みモデルを用いて、複数のドメインおよびNLUタスクにおけるASRテストセットの発話文を符号化し、SemDistを計算する。
• 複数の下流NLUタスク（意図認識、名前付きエンティティ認識（NER）、意味解析など）において、SemDistとWERを比較する。

実験結果

リサーチクエスチョン

• RQ1 意味的距離（SemDist）は、Word Error Rate（WER）よりも下流のNLU性能とより強く相関するか？
• RQ2 同じWERであっても、意味的質に差があるASR仮説をSemDistは区別できるか？
• RQ3 異なるASRシステムバージョンにおいて、SemDistは意図認識正答率とNER F1スコアの予測にどの程度有効か？
• RQ4 単語レベルの誤りが同等に影響を与えない状況において、SemDistは参照文と仮説文の真の意味的類似度をどの程度正しく反映するか？
• RQ5 SemDistはモデル選定の支援に役立つだけでなく、エンドツーエンドASRシステムにおける学習目的関数としても利用可能か？

主な発見

• SemDistはNLU性能と強く正の相関を示す：アシスタントドメインでは、SemDistは意図認識正答率（r = 0.72）およびEM（r = 0.65）と相関しており、その予測能力が裏付けられる。
• 同じWERであっても、低いSemDistはNLU F1スコアを高める傾向がある。例：Set C（SemDist = 0.0028）はF1スコア0.846を達成、一方Set B（SemDist = 0.0044）は0.590にとどまる。
• 意図認識において、Set C（SemDist = 0.0017）は96.22%の正答率を達成し、同じWERのSet B（SemDist = 0.0030）の94.28%を大きく上回る。
• SemDistは意味的ニュアンスを的確に捉える：例えば、'he is so cute'（SemDist = 0.0031）は、'she is so cute'よりも'heat is so cute'（SemDist = 0.0112）よりも意味的に近いが、両者とも同じWERを示す。
• SemDistは、'had not'（SemDist = 0.0219）が'had new clubs'（SemDist = 0.0167）よりも意味的に遠く離れていることを特定する。前者は発音的にも近いが、意味的誤差は顕著である。
• SemDistは意味的に重要な語の重要度を適切に反映する：例として、文脈に応じて'aw/or'と'aw/oh'の違いを的確に評価し、意味的に重要な語に敏感であることが示された。