[논문 리뷰] L2RS: A Learning-to-Rescore Mechanism for Automatic Speech Recognition

Yuanfeng Song, Di Jiang외 5명|arXiv (Cornell University)|2019. 10. 25.

Natural Language Processing Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 자동 음성 인식(ASR)을 위한 새로운 러닝-투-리스크 메커니즘인 L2RS를 제안한다. 이는 N-best 리스트 리스크를 학습 문제로 공식화하며, 다양한 특징—BERT 문장 임베딩, 주제 벡터, 여러 언어 모델의 난이도 점수—을 통합하여 RankSVM을 사용해 최적의 특징 가중치를 학습한다. 기존 방법 및 최신 딥러닝 리스크 기반 기준 대비 NDCG@10에서 20.67%의 상대적 향상을 달성한다.

ABSTRACT

Modern Automatic Speech Recognition (ASR) systems primarily rely on scores from an Acoustic Model (AM) and a Language Model (LM) to rescore the N-best lists. With the abundance of recent natural language processing advances, the information utilized by current ASR for evaluating the linguistic and semantic legitimacy of the N-best hypotheses is rather limited. In this paper, we propose a novel Learning-to-Rescore (L2RS) mechanism, which is specialized for utilizing a wide range of textual information from the state-of-the-art NLP models and automatically deciding their weights to rescore the N-best lists for ASR systems. Specifically, we incorporate features including BERT sentence embedding, topic vector, and perplexity scores produced by n-gram LM, topic modeling LM, BERT LM and RNNLM to train a rescoring model. We conduct extensive experiments based on a public dataset, and experimental results show that L2RS outperforms not only traditional rescoring methods but also its deep neural network counterparts by a substantial improvement of 20.67% in terms of NDCG@10. L2RS paves the way for developing more effective rescoring models for ASR.

연구 동기 및 목표

• 기존 ASR 리스크 기반 파이프라인에서 고급 자연어 처리(NLP) 모델의 활용이 제한된 점을 해결하기 위해.
• N-best 리스트 리스크를 러닝-투-랭크 문제로 공식화하여 자동 특징 가중치 최적화를 가능하게 하기 위해.
• 최신 NLP 특징—예를 들어 BERT 임베딩 및 주제 벡터—이 ASR 가설 순위 매기기 향상에 효과적인지 탐색하기 위해.
• 공개 벤치마크에서 NDCG 및 WER 측면에서 기존 및 딥러닝 기반 리스크 기반 방법을 능가하기 위해.

제안 방법

• L2RS는 청각 모델 점수와 최신 NLP 모델에서 유도된 다양한 텍스트 특징을 조합하여 리스크를 학습 문제로 공식화한다.
• 특징으로는 BERT 문장 임베딩, LDA에서 유도된 주제 벡터, n-gram 언어 모델, RNNLM, BERT LM, 주제 모델링 언어 모델의 난이도 점수가 포함된다.
• 훈련 데이터는 WER 순서로 정렬된 N-best 리스트에서 유도된 데이터를 기반으로 하여, 리스크 함수 f(φ(a,w))는 RankSVM을 사용해 학습된다.
• 최종 가설은 모든 N개의 가설에 대해 f(φ(a, w_i))의 최대값을 가지는 argmax로 선택되며, 이는 표준 AM+LM 점수 조합 방식을 대체한다.
• 이 프레임워크는 특징 공학의 유연성을 제공하며, 향상된 순위 매기기를 위한 특징 가중치의 종단 간 최적화를 가능하게 한다.
• 실험은 NDCG@10 및 WER를 평가 지표로 사용하여 TED-LIUM 데이터셋에서 수행된다.

실험 결과

연구 질문

• RQ1 러닝-투-리스크 프레임워크는 다양한 고용량 NLP 특징을 효과적으로 통합하여 ASR 리스크 기반 성능을 향상시킬 수 있는가?
• RQ2 최신 NLP 특징인 BERT 문장 임베딩은 전통적인 언어 모델 점수 대비 리스크 기반 성능에서 어떻게 비교되는가?
• RQ3 RankSVM을 통해 특징 가중치를 학습하는 것이 AM 및 LM 점수의 고정 가중치 조합보다 유의미하게 뛰어나게 성능을 향상시키는가?
• RQ4 제안된 L2RS 메커니즘은 EC-Model 및 RNNLM과 같은 딥러닝 기반 리스크 기반 모델의 순위 품질을 뛰어넘을 수 있는가?

주요 결과

• BERT 문장 임베딩과 주제 벡터를 포함한 모든 특징을 조합한 L2RS(opt)는 기준 AM + n-gram LM 방법 대비 NDCG@10에서 20.67%의 상대적 향상을 달성한다.
• BERT 문장 임베딩만으로도 NDCG@10에서 14.58%의 상대적 향상을 기록하며, RNNLM 및 BERT LM 점수를 초월한다.
• 테스트 세트에서 L2RS(opt)는 WER을 기준 n-gram LM의 27.084%에서 24.636%로 낮추어 2.448%의 절대적 향상을 달성한다.
• 개별 특징의 NDCG@10 평가 결과, BERT 문장 임베딩는 가장 효과적인 특징 중 하나로, 개발 세트에서 0.7181의 점수를 기록한다.
• L2RS 프레임워크는 특징 기여도를 체계적으로 평가할 수 있으며, 주제 벡터 및 BERT-WE와 같은 특징들이 조합되었을 때 매우 효과적임을 드러낸다.
• L2RS는 전통적인 리스크 기반 방법 뿐만 아니라 EC-Model 및 NS2TLM과 같은 고급 딥러닝 모델 또한 NDCG 및 WER 지표에서 모두 능가한다.