[논문 리뷰] Improving accuracy of rare words for RNN-Transducer through unigram shallow fusion

Vijay Ravi, Yile Gu외 6명|arXiv (Cornell University)|2020. 11. 30.

Natural Language Processing Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 RNN-Transducer (RNN-T) 음성 인식 시스템에서 희귀어 인식을 향상시키기 위해 디코딩 중에 희귀어에 고정된 점수 보정을 적용하는 간단하면서도 효과적인 방법인 유니그램 얕은 융합(USF)을 제안한다. USF는 일반 테스트 세트 성능을 떨어뜨리지 않은 채 희귀어 WER를 3.7% 상대적으로 향상시키며, 이 성능 향상은 두 번째 단계 재평가 기법과도 누적되며, 서브워드 기반 RNN-T 모델에서 비터비 검색에 의해 유도되는 확률 추정 오류를 수정한다.

ABSTRACT

End-to-end automatic speech recognition (ASR) systems, such as recurrent neural network transducer (RNN-T), have become popular, but rare word remains a challenge. In this paper, we propose a simple, yet effective method called unigram shallow fusion (USF) to improve rare words for RNN-T. In USF, we extract rare words from RNN-T training data based on unigram count, and apply a fixed reward when the word is encountered during decoding. We show that this simple method can improve performance on rare words by 3.7% WER relative without degradation on general test set, and the improvement from USF is additive to any additional language model based rescoring. Then, we show that the same USF does not work on conventional hybrid system. Finally, we reason that USF works by fixing errors in probability estimates of words due to Viterbi search used during decoding with subword-based RNN-T.

연구 동기 및 목표

• 엔드 투 엔드 RNN-Transducer (RNN-T) 음성 인식(ASR) 시스템 내에서 희귀어 인식 정확도가 낮다는 지속적인 과제를 해결하기 위해.
• 재학습이 필요 없고 상당한 계산 부담 없이도 희귀어 인식을 향상시키는 경량이며 저지연 방법을 개발하기 위해.
• 비터비 디코딩으로 인해 발생하는 RNN-T의 본질적인 확률 추정 오류를 유니그램 단어 빈도를 사용한 얕은 융합으로 보정할 수 있는지 조사하기 위해.
• USF의 효과를 독립적으로 및 두 번째 단계 재평가 기법과 조합하여 평가하기 위해.
• USF의 성능을 RNN-T와 전통적인 하이브리드 ASR 시스템 간에 비교하여 모델별로 어떻게 작동하는지 이해하기 위해.

제안 방법

• USF는 RNN-T 학습 데이터에서의 유니그램 빈도를 사용하여 작은 유니그램 유한상태트랜듀서(FST)를 구성하며, 빈도가 2와 임계값 $n_{\mathrm{thresh}}$ 사이인 단어들을 선택한다.
• 선택된 희귀어 각각은 FST에서 고정된 점수 $-1$을 할당받으며, 나머지 모든 단어를 처리하는 실패 화살표 $\rho$ 는 점수 0을 가진다.
• 실시간 디코딩 중에 RNN-T 점수와 USF FST 점수는 학습 가능한 가중치 $\alpha$ 를 사용한 보간을 통해 결합된다.
• 결합된 점수는 두 번째 단계 재평가 단계에서 신경망 언어모델(NLM)과 커버리지 항목 $\gamma|w|$ 를 사용하여 추가로 재평가된다.
• 이 방법은 추론 시에만 얕은 융합을 적용하며, 모델 재학습이 필요 없고 메모리 사용량도 극히 적게(몇 MB) 증가시킨다.
• 이 접근은 n-그램 기반의 문맥 신호 대신 큰 비문맥적 유니그램 목록을 사용함으로써 문맥 편향과 대비된다.

실험 결과

연구 질문

• RQ1 간단한 유니그램 기반 얕은 융합 방법이 RNN-T에서 일반 성능을 떨어뜨리지 않고도 희귀어 인식을 크게 향상시킬 수 있는가?
• RQ2 유니그램 얕은 융합이 서브워드 기반 RNN-T 모델에서 비터비 디코딩으로 인해 발생하는 확률 추정 오류를 보정할 수 있는가?
• RQ3 USF의 성능 향상은 신경망 언어모델을 사용한 두 번째 단계 재평가와 누적되는가?
• RQ4 왜 USF는 RNN-T에서는 효과적으로 작동하지만 전통적인 하이브리드 ASR 시스템에서는 그렇지 않은가?
• RQ5 낮은 메모리와 지연 부담으로 인해 유니그램 얕은 융합이 실시간 환경에서 효율적으로 적용될 수 있는가?

주요 결과

• USF는 일반 테스트 세트 성능에 영향을 주지 않은 채 테스트 세트에서 희귀어 WER를 3.7% 상대적으로 향상시켜 강력한 견고성을 입증한다.
• USF의 성능 향상은 신경망 언어모델을 사용한 두 번째 단계 재평가와도 누적되며, 상호 보완적인 성과를 나타낸다.
• USF는 하이브리드 ASR 시스템에서는 성능 향상이 없으며, 작은 보간 가중치조차도 일반 테스트 세트 성능을 심각하게 떨어뜨린다.
• USF가 하이브리드 모델에서 실패한 것은 RNN-T에서만 발생하는 고유한 오류 원인을 보정하기 때문이며, 바로 비터비 검색으로 인한 희귀어 확률 추정의 과소평가이다.
• 이 방법은 매우 효율적이며 몇 MB의 메모리만 필요하고 지연을 추가하지 않아 실시간 배포에 적합하다.
• 실험 분석은 USF가 서브워드 분할 합의 누락으로 인한 비터비 디코딩 오류를 보완함으로써 검색 오류를 완화시킨다는 가설을 지지한다.