[논문 리뷰] Class LM and word mapping for contextual biasing in End-to-End ASR

Rongqing Huang, Ossama Abdel‐Hamid외 2명|arXiv (Cornell University)|2020. 07. 10.

Speech Recognition and Synthesis참고 문헌 24인용 수 7

한 줄 요약

이 논문은 희귀하고 사용자별로 특화된 명명된 실체에 대한 엔드 투 엔드 ASR 성능을 향상시키기 위해 이중 접근 방식을 제안한다: (1) 스코어 정규화를 통해 웨이브 서치 중에 맥락 인식형 유한 상태 변환기(FST)를 통합하여 WER을 57% 감소시키고, (2) G2P 모델을 통해 희귀어를 더 흔한 발음으로 매핑함으로써 WER을 추가로 31% 감소시킨다. 이 방법은 일반 음성에 대한 영향을 최소화하면서도 명명된 실체 발화에서 총 WER을 70.6% 감소시킨다.

ABSTRACT

In recent years, all-neural, end-to-end (E2E) ASR systems gained rapid interest in the speech recognition community. They convert speech input to text units in a single trainable Neural Network model. In ASR, many utterances contain rich named entities. Such named entities may be user or location specific and they are not seen during training. A single model makes it inflexible to utilize dynamic contextual information during inference. In this paper, we propose to train a context aware E2E model and allow the beam search to traverse into the context FST during inference. We also propose a simple method to adjust the cost discrepancy between the context FST and the base model. This algorithm is able to reduce the named entity utterance WER by 57% with little accuracy degradation on regular utterances. Although an E2E model does not need pronunciation dictionary, it's interesting to make use of existing pronunciation knowledge to improve accuracy. In this paper, we propose an algorithm to map the rare entity words to common words via pronunciation and treat the mapped words as an alternative form to the original word during recognition. This algorithm further reduces the WER on the named entity utterances by another 31%.

연구 동기 및 목표

• 접촉자나 애플리케이션 이름과 같은 희귀하고 사용자별로 특화된 명명된 실체에 대해 엔드 투 엔드 ASR 모델의 낮은 성능을 해결하기 위해.
• 모델이 명시적인 언어 모델이나 발음 사전을 갖추지 못함에도 불구하고 추론 중에 동적 맥락 기반 편향을 가능하게 하기 위해.
• 기본 모델과 맥락 FST 경로 간의 비용 격차를 줄여 웨이브 서치 정확도를 향상시키기 위해.
• 기존 어휘를 활용해 OOV(어휘 외 단어)를 더 흔한 발음 형태로 매핑하여 인식 가능성 향상시키기 위해.
• 어려운 개인 콘텐츠에서 성능을 향상시키는 동안 일반적인 명명된 실체가 아닌 발화에서의 높은 정확도를 유지하기 위해.

제안 방법

• 저자는 BPE 토큰화를 사용해 LAS-MOCHA 모델을 훈련하고, 훈련 중에 명명된 실체 경계를 표시하기 위해 클래스 언어 모델(Class LM) 태그(@contact# 및 #contact@ 등)를 번역에 삽입한다.
• 추론 중에 사용자별 맥락 목록에서 가중치가 부여된 유한 상태 변환기(WFST)를 구성하고 웨이브 서치에 통합하여 모델이 맥락 FST로 이동할 수 있도록 한다.
• 기본 모델 경로와 맥락 FST 경로 간의 로그 확률 스코어를 균형 잡기 위해 스케일링 인자 λc와 λb를 사용하는 스코어 정규화 기법을 적용한다.
• 희귀어의 경우, 양방향 LSTM 기반의 문자-음소 변환(G2P) 모델이 발음을 생성하고, 단어를 더 흔한 청각 형태로 매핑하여 인식 가능성 향상시키기 위해 사용된다.
• 매핑된 단어 시퀀스를 사용해 대체 FST 경로를 구성하고, 원본 맥락 FST와 결합하여 강인성을 향상시킨다.
• 평가에는 명명된 실체 및 일반 발화 세트에서의 WER을 사용하고, 스코어 정규화 및 단어 매핑에 대한 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 웨이브 서치 중 사용자별 맥락 FST를 통합함으로써 엔드 투 엔드 ASR에서 명명된 실체 발화의 WER을 크게 감소시킬 수 있는가?
• RQ2 기본 모델과 맥락 FST 경로 간의 스코어 정규화가 일반 발화 성능을 떨어뜨리지 않으면서도 인식 정확도를 향상시키는가?
• RQ3 발음 기반 단어 매핑이 희귀하거나 OOV 명명된 실체를 더 흔하고 인식하기 쉬운 형태로 변환함으로써 WER을 감소시킬 수 있는가?
• RQ4 맥락 FST 통합과 단어 매핑의 병합 효과는 특히 도전적인 명명된 실체 입력에서 총 WER 감소에 어떤 영향을 미치는가?
• RQ5 다양한 수의 명명된 실체를 포함한 발화에서 이 방법의 성능은 어떻게 되는가?

주요 결과

• 맥락 FST와 스코어 정규화를 사용함으로써 명명된 실체 발화의 WER이 18.1%에서 9.0%로 감소하여 상대적 감소율 50%와 상대적 WER 향상 57%를 달성했다.
• 발음 기반 단어 매핑을 추가함으로써 동일 세트의 WER이 원래 FST 기반 6.5%에서 4.5%로 감소하여 FST 전용 기준 대비 31% 상대적 감소를 달성했다.
• 두 기법을 결합함으로써 명명된 실체 발화에서의 총 WER 감소율이 FST 미적용 기준 대비 70.6%에 이르렀다.
• 일반 발화에서 WER은 8.4%에서 8.5%로 단지 0.1% 증가에 그쳐, 비표적 입력에 대한 높은 강인성을 보였다.
• 다양한 수의 편향 어휘를 포함한 발화에서 WER 감소 효과가 일관되었으며, 그림 1에서 이를 확인할 수 있었다. 이는 광범위한 적용 가능성을 시사한다.
• 표 4의 사례 분석을 통해 'Yvanna'와 'Vandendriessche'와 같은 희귀어가 단어 매핑 후 정확히 인식되었고, 모델이 'ivana'와 'vandendraci'와 같은 정확한 번역을 생성함을 확인했다.