[论文解读] L2RS: A Learning-to-Rescore Mechanism for Automatic Speech Recognition

Yuanfeng Song, Di Jiang+5 more|arXiv (Cornell University)|Oct 25, 2019

Natural Language Processing Techniques参考文献 27被引用 8

一句话总结

本文提出 L2RS，一种用于自动语音识别（ASR）的新型学习重排序机制，将 N-best 列表重排序形式化为一个学习问题。通过整合多种特征——包括 BERT 句子嵌入、主题向量以及来自多个语言模型的困惑度分数——L2RS 利用 RankSVM 学习最优特征权重，在 NDCG@10 上相比传统方法和最先进深度学习重排序基线模型实现了 20.67% 的相对提升。

ABSTRACT

Modern Automatic Speech Recognition (ASR) systems primarily rely on scores from an Acoustic Model (AM) and a Language Model (LM) to rescore the N-best lists. With the abundance of recent natural language processing advances, the information utilized by current ASR for evaluating the linguistic and semantic legitimacy of the N-best hypotheses is rather limited. In this paper, we propose a novel Learning-to-Rescore (L2RS) mechanism, which is specialized for utilizing a wide range of textual information from the state-of-the-art NLP models and automatically deciding their weights to rescore the N-best lists for ASR systems. Specifically, we incorporate features including BERT sentence embedding, topic vector, and perplexity scores produced by n-gram LM, topic modeling LM, BERT LM and RNNLM to train a rescoring model. We conduct extensive experiments based on a public dataset, and experimental results show that L2RS outperforms not only traditional rescoring methods but also its deep neural network counterparts by a substantial improvement of 20.67% in terms of NDCG@10. L2RS paves the way for developing more effective rescoring models for ASR.

研究动机与目标

• 解决传统 ASR 重排序流水线中对先进 NLP 模型利用不足的问题。
• 将 N-best 列表重排序形式化为一个学习排序问题，实现特征权重的自动优化。
• 探索最先进 NLP 特征（如 BERT 嵌入和主题向量）在提升 ASR 假设排序质量方面的有效性。
• 在公开基准测试中，于 NDCG 和 WER 指标上超越传统及基于深度学习的重排序方法。

提出的方法

• L2RS 通过结合声学模型得分与来自最先进 NLP 模型的多样化文本特征，将重排序形式化为一个学习问题。
• 特征包括 BERT 句子嵌入、LDA 得到的主题向量，以及 n-gram LM、RNNLM、BERT LM 和主题建模 LM 的困惑度分数。
• 基于从 WER 排序的 N-best 列表中提取的训练数据，使用 RankSVM 学习重排序函数 f(φ(a,w))。
• 最终假设通过在所有 N 个假设上取 f(φ(a, w_i)) 的最大值来选择，取代标准的 AM+LM 得分组合方式。
• 该框架支持灵活的特征工程，并实现特征权重的端到端优化，以提升排序性能。
• 实验在 TED-LIUM 数据集上进行，评估指标为 NDCG@10 和 WER。

实验结果

研究问题

• RQ1 学习重排序框架能否有效整合多样化、高容量的 NLP 特征，以提升 ASR 重排序性能？
• RQ2 如 BERT 句子嵌入等现代 NLP 特征在重排序性能上与传统语言模型得分相比表现如何？
• RQ3 通过 RankSVM 学习特征权重是否显著优于 AM 和 LM 得分的固定权重组合？
• RQ4 所提出的 L2RS 机制能否在排序质量上超越基于深度学习的重排序模型（如 EC-Model 和 RNNLM）？

主要发现

• L2RS(opt)（结合所有特征，包括 BERT 句子嵌入和主题向量）相比基线 AM + n-gram LM 方法，在 NDCG@10 上实现了 20.67% 的相对提升。
• 仅使用 BERT 句子嵌入即可在 NDCG@10 上实现 14.58% 的相对提升，甚至优于 RNNLM 和 BERT LM 得分。
• 在测试集上，L2RS(opt) 将 WER 从基线 n-gram LM 的 27.084% 降低至 24.636%，绝对提升 2.448%。
• 单个特征的 NDCG@10 表现显示，BERT 句子嵌入最为有效，其在开发集上的得分为 0.7181。
• L2RS 框架支持对特征贡献的系统性评估，揭示出当与主题向量和 BERT-WE 等特征组合时，其效果尤为显著。
• L2RS 不仅优于传统重排序方法，也在 NDCG 和 WER 指标上超越了 EC-Model 和 NS2TLM 等先进深度学习模型。