[論文レビュー] L2RS: A Learning-to-Rescore Mechanism for Automatic Speech Recognition

Yuanfeng Song, Di Jiang+5 more|arXiv (Cornell University)|Oct 25, 2019

Natural Language Processing Techniques参考文献 27被引用数 8

ひとこと要約

本論文は、N-bestリスト再スコアリングを学習問題として形式化する、自動音声認識（ASR）のための新しい学習-再スコア化メカニズムL2RSを提案する。Bert文埋め込み、トピックベクトル、複数の言語モデルからのパープレキシティスコアといった多様な特徴を統合し、RankSVMを用いて最適な特徴重みを学習することで、従来手法および最先端のディープラーニングベースの再スコア化ベースライン比でNDCG@10において20.67%の相対的改善を達成した。

ABSTRACT

Modern Automatic Speech Recognition (ASR) systems primarily rely on scores from an Acoustic Model (AM) and a Language Model (LM) to rescore the N-best lists. With the abundance of recent natural language processing advances, the information utilized by current ASR for evaluating the linguistic and semantic legitimacy of the N-best hypotheses is rather limited. In this paper, we propose a novel Learning-to-Rescore (L2RS) mechanism, which is specialized for utilizing a wide range of textual information from the state-of-the-art NLP models and automatically deciding their weights to rescore the N-best lists for ASR systems. Specifically, we incorporate features including BERT sentence embedding, topic vector, and perplexity scores produced by n-gram LM, topic modeling LM, BERT LM and RNNLM to train a rescoring model. We conduct extensive experiments based on a public dataset, and experimental results show that L2RS outperforms not only traditional rescoring methods but also its deep neural network counterparts by a substantial improvement of 20.67% in terms of NDCG@10. L2RS paves the way for developing more effective rescoring models for ASR.

研究の動機と目的

• 従来のASR再スコアリングパイプラインにおける高度なNLPモデルの利用が限定的であるという問題に取り組む。
• N-bestリスト再スコアリングを学習-ランク問題として形式化し、特徴重みの自動最適化を可能にする。
• BERT埋め込みやトピックベクトルといった最先端のNLP特徴の有効性を検証し、ASR仮説のランク付けを改善すること。
• 公的ベンチマークにおいて、従来手法およびディープラーニングベースの再スコアリング手法を上回るNDCGおよびWERの性能を達成すること。

提案手法

• L2RSは、音声認識モデルスコアと、最先端のNLPモデルからの多様なテキスト特徴を組み合わせることで、再スコアリングを学習問題として定式化する。
• 特徴には、Bert文埋め込み、LDAからのトピックベクトル、n-gram LM、RNNLM、Bert LM、トピックモデリングLMからのパープレキシティスコアが含まれる。
• 訓練データはWER順序付けられたN-bestリストから得られるが、再スコアリング関数f(φ(a,w))は、RankSVMを用いて学習する。
• 最終的な仮説は、すべてのN個の仮説についてf(φ(a, w_i))の最大値を取るargmaxとして選択され、標準的なAM+LMスコア結合の代わりに使用される。
• このフレームワークは柔軟な特徴工学を可能とし、より良いランク付けを実現するための特徴重みのエンドツーエンド最適化を可能にする。
• 実験は、NDCG@10とWERを評価指標として用い、TED-LIUMデータセット上で実施された。

実験結果

リサーチクエスチョン

• RQ1 学習-再スコア化フレームワークは、多様で高容量なNLP特徴を効果的に統合し、ASR再スコアリングを改善できるか？
• RQ2 BERT文埋め込みのような現代的NLP特徴は、従来の言語モデルスコアに比べて再スコアリング性能で優れているか？
• RQ3 RankSVMによる特徴重みの学習は、AMとLMスコアの固定重み組み合わせを著しく上回るか？
• RQ4 提案されたL2RSメカニズムは、EC-Model や RNNLM といったディープラーニングベースの再スコアリングモデルをランク付け品質で上回れるか？

主な発見

• BERT文埋め込みとトピックベクトルを含むすべての特徴を組み合わせたL2RS(opt)は、ベースラインのAM + n-gram LM手法比でNDCG@10において20.67%の相対的改善を達成した。
• BERT文埋め込み単体でも、NDCG@10で14.58%の相対的改善を示し、RNNLM や BERT LM スコアを上回った。
• テストセットでは、L2RS(opt)はWERをベースラインのn-gram LMの27.084%から24.636%に低下させ、2.448%の絶対的改善を達成した。
• 個々の特徴のNDCG@10スコアは、BERT文埋め込みが最も効果的であることを示しており、開発セットでは0.7181のスコアを記録した。
• L2RSフレームワークは、特徴寄与度の体系的評価を可能にし、トピックベクトルやBERT-WEといった特徴が組み合わされた際、特に効果的であることが明らかになった。
• L2RSは、従来の再スコアリング手法だけでなく、EC-Model や NS2TLM といった高度なディープラーニングモデルに対しても、NDCGおよびWERの両指標で優れた性能を発揮した。