[논문 리뷰] Fast and Robust Unsupervised Contextual Biasing for Speech Recognition

Young Mo Kang, Yingbo Zhou|arXiv (Cornell University)|2020. 05. 04.

Speech Recognition and Synthesis참고 문헌 20인용 수 13

한 줄 요약

이 논문은 추론 중 동적 언어 모델 구축이 필요 없도록 사전에 모든 어휘 단어에 대해 비순차적 클래스 기반 언어 모델을 사용해 편향 점수를 사전 계산하는 비지도, 빠르고 강건한 문맥 편향 기법을 제안한다. 이 방법은 관련 문맥이 제공될 경우 인식 정확도를 향상시키며, 관련성이 없거나 악성인 문맥에 대해서도 강건성을 유지하여 기존의 보간 기반 접근법보다 강건성과 효율성에서 뛰어나다.

ABSTRACT

Automatic speech recognition (ASR) system is becoming a ubiquitous technology. Although its accuracy is closing the gap with that of human level under certain settings, one area that can further improve is to incorporate user-specific information or context to bias its prediction. A common framework is to dynamically construct a small language model from the provided contextual mini corpus and interpolate its score with the main language model during the decoding process. Here we propose an alternative approach that does not entail explicit contextual language model. Instead, we derive the bias score for every word in the system vocabulary from the training corpus. The method is unique in that 1) it does not require meta-data or class-label annotation for the context or the training corpus. 2) The bias score is proportional to the word's log-probability, thus not only would it bias the provided context, but also robust against irrelevant context (e.g. user mis-specified or in case where it is hard to quantify a tight scope). 3) The bias score for the entire vocabulary is pre-determined during the training stage, thereby eliminating computationally expensive language model construction during inference. We show significant improvement in recognition accuracy when the relevant context is available. Additionally, we also demonstrate that the proposed method exhibits high tolerance to false-triggering errors in the presence of irrelevant context.

연구 동기 및 목표

• 일반 언어 모델에서 어휘 외이거나 낮은 점수를 받는 도메인 특화 또는 개인화된 단어의 ASR 정확도 향상 문제를 해결하기 위해.
• 추론 중 명시적이고 계산 비용이 큰 문맥 기반 언어 모델 구축이 필요 없도록 하기 위해.
• 학습 데이터 또는 문맥에 대한 메타데이터, 클래스 레이블, 주석이 필요 없이 문맥 편향 기법을 구현하기 위해.
• 관련성이 없거나 악성인 문맥 단어에 의한 잘못된 트리거링에 대한 강건성을 향상시키기 위해.
• 학습 중에 사전에 편향 점수를 계산함으로써 추론 효율성을 극대화하기 위해.

제안 방법

• 일반 코퍼스에서 훈련된 비지도 클래스 기반 언어 모델에서 n-그램 통계를 사용해 단어를 겹치지 않는 클래스로 군집화함으로써 편향 점수를 유도한다.
• 어휘 내 각 단어에 대해, 식 (2)에 따라 클래스 수준의 n-그램 및 단어별 개수를 분리하여, 해당 클래스 내에서 단어의 로그 확률을 기반으로 편향 점수를 계산한다.
• 추론 중에 편향 점수 $ s_B(w|H) $ 가 기본 언어 모델 점수 $ s_G(w|H) $ 와 더해져 최종 점수 $ s(w|H) = s_G(w|H) + s_B(w|H) $ 를 형성한다.
• 편향 점수는 단어의 로그 확률 비례하므로, 높은 빈도의 문맥 관련 단어는 강한 편향을 받고, 희귀하거나 관련성이 없는 단어에 대한 과적합은 최소화된다.
• 문맥 통합을 위해 문장 확장 및 OOV(어휘 외) 방식을 모두 지원하며, 최적 성능을 위해 초모델 파라미터 $ \lambda $ 와 $ \alpha $ 를 조정한다.
• 학습 중에 모든 편향 점수를 사전 계산함으로써 런타임 언어 모델 구축을 피함으로써 추론 오버헤드를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 추론 중 동적 언어 모델 구축 없이도 효과적인 문맥 편향 기법을 달성할 수 있는가?
• RQ2 학습 데이터 또는 문맥에 대한 클래스 레이블이나 메타데이터가 없이도 문맥 편향 기법을 구현할 수 있는가?
• RQ3 제안된 방법은 관련성이 없거나 악성인 문맥 단어에 대해 어느 정도의 잘못된 트리거링에 견딜 수 있는가?
• RQ4 비지도 군집화에서 클래스 수가 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 기본 언어 모델 구축 방식과 비교해 제안된 방법의 계산 오버헤드는 어느 정도인가?

주요 결과

• 관련 문맥이 제공될 경우, 제안된 방법은 상대적으로 WER을 4.0% 감소시켜 뚜렷한 정확도 향상을 보였다.
• 10,000개의 간섭 요소(관련성이 없는 문맥)가 존재할 경우, OOV 방식에서 WER 증가율은 단 0.37%포인트에 그쳐 잘못된 트리거링에 대한 높은 내성성을 입증했다.
• 5,000개의 클래스를 사용할 경우, 10,000개의 간섭 요소가 존재하더라도 WER 증가율은 단 0.03%포인트에 그쳐 과도한 편향에 대한 강건성을 입증했다.
• 10,000개의 문맥 단어에 대해 추론 시간 오버헤드를 470ms로 줄였으며, 이는 KenLM 기반 모델 구축 방식(1,288ms) 대비 뛰어난 계산 효율성을 보였다.
• 10,000개의 일반 단어를 악성 문맥으로 사용한 악성 테스트에서, 5,000개의 클래스를 사용해도 WER가 17% 이하로 유지되어 과도한 편향에 대한 저항력을 확인했다.
• 편향 점수의 내재된 분포 덕분에, 특히 간섭 요소가 많은 조건에서 기존의 보간 기반 접근법보다 강건성 면에서 뛰어나 성능을 뛰어넘었다.