[논문 리뷰] Improving Performance of End-to-End ASR on Numeric Sequences

Cal Peyser, Hao Zhang외 2명|arXiv (Cornell University)|2019. 07. 01.

Speech Recognition and Synthesis참고 문헌 23인용 수 5

한 줄 요약

이 논문은 합성 TTS 데이터와 경량 신경 보정 모델을 활용하여 구두 발음 도메인에서 훈련하고 신경 denormalization을 적용함으로써, 장기 숫자 시퀀스에서 엔드 투 엔드 ASR 성능을 향상시켰다. 이로 인해 WER가 최대 8배까지 감소하였으며, 특히 장기 숫자 시퀀스에서 뚜렷한 성능 향상이 관찰되었다. 이는 기존의 FST 기반 denormalization보다도 현저히 뛰어난 성능을 보이며, 온디바이스 환경에서도 유의미한 성능 향상을 이룩하였다.

ABSTRACT

Recognizing written domain numeric utterances (e.g. I need $1.25.) can be challenging for ASR systems, particularly when numeric sequences are not seen during training. This out-of-vocabulary (OOV) issue is addressed in conventional ASR systems by training part of the model on spoken domain utterances (e.g. I need one dollar and twenty five cents.), for which numeric sequences are composed of in-vocabulary numbers, and then using an FST verbalizer to denormalize the result. Unfortunately, conventional ASR models are not suitable for the low memory setting of on-device speech recognition. E2E models such as RNN-T are attractive for on-device ASR, as they fold the AM, PM and LM of a conventional model into one neural network. However, in the on-device setting the large memory footprint of an FST denormer makes spoken domain training more difficult. In this paper, we investigate techniques to improve E2E model performance on numeric data. We find that using a text-to-speech system to generate additional numeric training data, as well as using a small-footprint neural network to perform spoken-to-written domain denorming, yields improvement in several numeric classes. In the case of the longest numeric sequences, we see reduction of WER by up to a factor of 8.

연구 동기 및 목표

• 전화번호, 우편번호, 금액과 같은 장기 숫자 시퀀스에 대한 엔드 투 엔드 ASR에서의 OOV 문제 해결.
• 메모리 제약이 있는 온디바이스 애플리케이션에서 규칙 기반 FST denormalizer의 한계를 극복.
• 저자원 사용이 가능하고 확장 가능한 방식으로 합성 데이터와 신경 보정 모델을 활용해 숫자 ASR 성능 향상.
• 장기 꼬리 수요 숫자 발화에 대해 구두 도메인 훈련과 신경 denormalization의 조합 효과 평가.

제안 방법

• 문서 도메인에서 드문 긴 숫자 시퀀스의 커버리지 확보를 위해 음성 합성(TTS) 시스템을 활용해 합성 훈련 데이터 생성.
• 기본 텍스트 도메인의 정답과 RNN-T 예측 결과 쌍을 기반으로 신경 보정 모델(신경 denormer)을 훈련하여 서식 오류 및 인식 오류를 보정하는 데 목표.
• 추론 시 OOV 문제를 방지하기 위해 RNN-T 모델을 구두 발음 도메인(예: 'four fifteen' → '4:15'가 아님)에서 훈련.
• 온디바이스 배포를 고려해 메모리 사용을 최소화한 경량 신경 denormer를 구현하며, 양방향 GRU 인코더와 어텐션 기반 디코더를 사용.
• 문서 도메인 및 구두 도메인 훈련 환경에서 기존의 FST 기반 denormalization과 신경 denormalization을 비교.
• 테스트 세트 오디오 생성을 위해 WaveNet과 연결형 TTS 시스템을 별도로 활용하여 다양한 TTS 스타일에 대한 평가 정확도 확보.

Figure 1: Neural Denormer Architecture. T stands for trivial . N stands for non-trivial . S stands for start . C stands for continuation .

실험 결과

연구 질문

• RQ1 합성 TTS로 생성된 훈련 데이터가 드문 긴 숫자 시퀀스에서 엔드 투 엔드 ASR 성능 향상에 기여하는가?
• RQ2 문서 도메인 훈련 대비 구두 도메인에서 훈련한 RNN-T 모델이 숫자 발화에서 OOV 문제를 완화하는가?
• RQ3 특히 장기 숫자 시퀀스에서 신경 denormalizer가 규칙 기반 FST denormalizer보다 WER 감소 측면에서 뛰어나게 성능을 냈는가?
• RQ4 구두 도메인 훈련, 합성 TTS 데이터, 신경 denormalization의 조합 효과가 다양한 숫자 유형에서 ASR 성능에 미치는 영향은 무엇인가?
• RQ5 실제 오디오 및 어려운 구두 표현을 포함한 코어티드 테스트 세트에서 신경 denormalizer의 성능은 어떠한가?

주요 결과

• 구두 도메인 훈련, 합성 TTS 데이터, 신경 denormalizer의 조합은 코어티드 테스트 세트에서 장기 숫자 시퀀스에서 WER를 최대 8배까지 감소시켰다.
• 구두 도메인에서 신경 denormalization을 적용한 S2 설정에서는 큰 숫자에서 WER가 83% 감소하고, 짧은 숫자에서는 75% 감소하였다.
• TTS 데이터와 함께 사용했을 때 신경 보정 모델은 큰 숫자에서 WER를 49% 감소시키고, 작은 숫자에서는 75% 감소시켜 문서 도메인 접근 방식을 능가하였다.
• 구두 도메인 훈련에 신경 denormalization을 적용함으로써 FST 기반 시스템에서 흔히 발생하는 복잡하거나 드문 숫자 표현에 대한 오류를 대부분 제거하였다.
• 신경 denormer가 실제 오디오나 일반 숫자 테스트 세트 성능을 떨어뜨리지 않고도 뚜렷한 WER 감소 효과를 보이며, 이는 모델의 강건성을 확인시켰다.
• 오류 분석 결과, 문서 도메인 모델은 유사 발음 단어와 혼동하는 경향(예: '180.50' → '180 - $50 in inr')을 보였지만, 구두 도메인 모델에 신경 denormalization을 적용한 경우 이러한 오류는 대부분 방지되었다.