[論文レビュー] Improving Spoken Language Understanding By Exploiting ASR N-best Hypotheses

Mingda Li, Weitong Ruan+4 more|arXiv (Cornell University)|Jan 11, 2020

Topic Modeling参考文献 16被引用数 14

ひとこと要約

本稿では、最初のベスト出力に依存するのではなく、n-best ASR仮説を統合することで、自動音声認識（ASR）の誤りに対してより頑健なスプoken言語理解（SLU）を実現することを提案する。平均プーリングや直接モデリングなどの手法を用いて複数の仮説の予測を統合するか、埋め込みを連結することで、ドメインおよび意図分類において最大25%の相対的誤り率削減を達成した。特にASRの最初のベスト出力が誤りである場合に顕著な改善が得られた。

ABSTRACT

In a modern spoken language understanding (SLU) system, the natural language understanding (NLU) module takes interpretations of a speech from the automatic speech recognition (ASR) module as the input. The NLU module usually uses the first best interpretation of a given speech in downstream tasks such as domain and intent classification. However, the ASR module might misrecognize some speeches and the first best interpretation could be erroneous and noisy. Solely relying on the first best interpretation could make the performance of downstream tasks non-optimal. To address this issue, we introduce a series of simple yet efficient models for improving the understanding of semantics of the input speeches by collectively exploiting the n-best speech interpretations from the ASR module.

研究の動機と目的

• 認識誤りによって誤りである可能性のあるASRの最初のベスト仮説にのみ依存するSLUシステムの限界を是正すること。
• n-bestリストからの複数の仮説を活用することで、ASR誤りが生じる状況下でもスプoken言語理解の頑健性を向上させること。
• 訓練時および推論時におけるn-best ASR出力の実用的な統合手法を構築・評価し、下流のNLU性能を向上させること。
• 最初のベスト出力が誤りである場合に特に顕著な性能向上が得られることを示し、複数の仮説を用いることで一貫した性能向上が得られることを実証すること。
• 信頼度スコア、トークンレベル特徴量、およびワードラティスのような構造的表現を用いた高度な統合手法の今後の研究の基盤を構築すること。

提案手法

• NLUモデルへの入力として、最初のベスト出力のみではなく、n-best ASR仮説（n=5）を用いる。
• BiLSTMエンコーダーからの仮説埋め込みを、プーリング（例：平均プーリングや最大プーリング）により特徴レベルで統合する。
• 複数の仮説テキストまたはその埋め込みを連結して分類ヘッドに供給する直接モデリングを実装する。
• 訓練時にn-best仮説を用いることで、正解トランスクリプションがn-bestリストに含まれない場合でも一般化性能を向上させる。
• 再順序付けおよび統合戦略において、信頼度スコアと順位位置を補助特徴として用いる。
• ドメインおよび意図分類タスクにおいて、ベースライン（最初のベストのみ）、オラクル（正解トランスクリプション）、およびさまざまな統合戦略を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 最初のベスト仮説に依存するのではなく、複数のn-best ASR仮説を統合することで、スプoken言語理解の精度が向上するか？
• RQ2 ASRの最初のベスト仮説が誤りである場合と正しい場合とで、SLUモデルの性能はどのように変化するか？
• RQ3 プーリング、連結、または直接モデリングのうち、どの統合戦略がNLUタスクにおいて最も頑健かつ効果的な改善をもたらすか？
• RQ4 使用するn-best仮説の数が最終的な分類性能にどのように影響するか？
• RQ5 n-best仮説を用いて訓練されたモデルは、正解トランスクリプションがn-bestリストに含まれない場合でも、未知のデータに対してより一般化性能が高くなるか？

主な発見

• 提案手法によるn-best ASR仮説の統合により、ドメイン分類で25%の相対的誤り率削減が達成され、特に最初のベスト仮説が正解と一致しないサブセットでは、最も優れた手法（PoolingAvg）が24.67%の相対的誤り率削減を達成した。
• 最初のベスト仮説が正解と一致するサブセットにおいても、統合モデルは性能向上を示し、PoolingAvgは3.56%の相対的誤り率削減を達成した。これは、最初のベスト出力が正しくても頑健性が保証されることを示している。
• 信頼度スコア順に仮説をソートするDirectモデルは、一致しないサブセットで9.95%の相対的誤り率削減を達成し、マジョリティ投票（7.59%）やオラクルを用いた再順序付け（7.25%）を上回った。
• 仮説数が増えるほど性能が向上するが、4つ以上の仮説を使用すると利得が減少し、n=4以降で飽和する傾向を示しており、限界効果が顕著である。
• PoolingAvg手法は、テストされた8つの主要ドメインすべてで一貫して精度を向上させ、広範な適用可能性と頑健性を示した。
• 意図分類においても、PoolingAvgはショッピングドメインで25.55%、知識ドメインで25.00%、通信ドメインで11.92%の相対的誤り率削減を達成し、ベースラインを大きく上回った。