[논문 리뷰] RNN-T Models Fail to Generalize to Out-of-Domain Audio: Causes and Solutions

Chung‐Cheng Chiu, Arun Narayanan외 9명|arXiv (Cornell University)|2020. 05. 07.

Speech Recognition and Synthesis참고 문헌 33인용 수 12

한 줄 요약

이 논문은 RNN-T 모델이 도메인 외부 및 장시간 음성에서 일반화 능력이 떨어지는 주요 원인으로 인코더 과적합을 규명한다. SpecAugment, 변동성 노이즈, 랜덤 스펜 펌프루베이션을 조합한 정규화 콜라주와 동적 겹침 추론(DOI)을 제안하며, 유튜브 장시간 음성에서 33.6%의 상대적 WER 향상과 검색 데이터에서 62% 향상을 달성한다. DOI는 라이브러리스피치로 훈련된 모델의 WER을 99.8%에서 33.0%로 감소시켰다.

ABSTRACT

In recent years, all-neural end-to-end approaches have obtained state-of-the-art results on several challenging automatic speech recognition (ASR) tasks. However, most existing works focus on building ASR models where train and test data are drawn from the same domain. This results in poor generalization characteristics on mismatched-domains: e.g., end-to-end models trained on short segments perform poorly when evaluated on longer utterances. In this work, we analyze the generalization properties of streaming and non-streaming recurrent neural network transducer (RNN-T) based end-to-end models in order to identify model components that negatively affect generalization performance. We propose two solutions: combining multiple regularization techniques during training, and using dynamic overlapping inference. On a long-form YouTube test set, when the nonstreaming RNN-T model is trained with shorter segments of data, the proposed combination improves word error rate (WER) from 22.3% to 14.8%; when the streaming RNN-T model trained on short Search queries, the proposed techniques improve WER on the YouTube set from 67.0% to 25.3%. Finally, when trained on Librispeech, we find that dynamic overlapping inference improves WER on YouTube from 99.8% to 33.0%.

연구 동기 및 목표

• 짧고 도메인 내부 데이터로 훈련된 RNN-T 모델이 장시간 도메인 외부 음성(예: 유튜브 영상)에서 일반화 능력이 떨어지는 이유를 진단하기 위해.
• 도메인 불일치 상황에서 스트리밍 및 비스트리밍 RNN-T 모델의 성능 저하의 근본 원인을 규명하기 위해.
• 도메인 일치 훈련 데이터가 필요 없이 일반화 성능을 향상시키는 정규화 기법을 개발하고 평가하기 위해.
• 심각한 도메인 불일치가 발생할 경우 정규화가 부족한 모델에 대해 강력한 추론 시점 솔루션으로 동적 겹침 추론(DOI)을 제안하기 위해.

제안 방법

• 저자들은 RNN-T 구성 요소를 분석하고, 도메인 외부 입력에서 과도한 빈칸 예측과 높은 삭제 비율을 유발하는 인코더가 과적합에 가장 취약하다고 규명한다.
• 훈련 중 강건성을 향상시키기 위해 SpecAugment(시간 및 주파수 마스킹), 변동성 노이즈(스토캐스틱 드롭아웃 유사 노이즈), 랜덤 스펜 펌프루베이션(RSP)을 조합한 정규화 콜라주를 제안한다.
• 추론 시, 장시간 음성의 겹치는 세그먼트를 처리하고 가설을 융합하여 오류 전파를 줄이고 장시간 시퀀스 모델링을 향상시키기 위해 동적 겹침 추론(DOI)을 도입한다.
• DOI는 슬라이딩 윈도우(예: 16초, 2초 겹침)를 사용하며, 삭제 및 치환을 최소화하기 위해 가설 정렬을 동적으로 조정한다.
• 세 가지 설정에서 평가한다: 유튜브 단시간, 검색 쿼리, 라이브러리스피치로 훈련된 모델이며, WER은 유튜브 장시간 테스트 세트에서 측정된다.
• 기본 모델, 개별 정규화 기법, 병합된 정규화 기법 간 성능을 비교하고, 도메인 격리가 심한 모델에서 DOI의 효과를 평가한다.

Fig. 1 : Block diagram of an RNN-T model [ 22 , 13 ] .

실험 결과

연구 질문

• RQ1 짧고 도메인 내부 데이터로 훈련된 RNN-T 모델이 유튜브 영상처럼 장시간 도메인 외부 음성에서 일반화에 실패하는 이유는 무엇인가?
• RQ2 RNN-T 아키텍처 중 도메인 불일치 상황에서 과적합과 일반화 부족의 주요 원인이 되는 구성 요소는 무엇인가?
• RQ3 여러 정규화 기법을 병합하면 재훈련 없이 도메인 외부 음성에서의 일반화 성능을 향상시킬 수 있는가?
• RQ4 모델이 다른 도메인(예: 라이브러리스피치)에서 훈련된 경우, 동적 겹침 추론(DOI)이 장시간 음성에서 WER을 크게 향상시키는가?
• RQ5 도메인 격리가 클 경우와 작을 경우, 다양한 정규화 기법의 효과성은 어떻게 비교되는가?

주요 결과

• 짧은 유튜브 세그먼트로 훈련된 비스트리밍 RNN-T 모델은 정규화 콜라주를 적용해 WER을 22.3%에서 14.8%로 감소시켜 상대적 개선률 33.6%를 달성했다.
• 검색 쿼리로 훈련된 스트리밍 RNN-T 모델은 유튜브 장시간 테스트 세트에서 WER을 67.0%에서 25.3%로 감소시켜 상대적 개선률 62%를 기록했다.
• 라이브러리스피치로 훈련된 모델에서 정규화 콜라주는 일반화 성능 향상에 실패했지만, DOI는 유튜브 단시간 음성에서 WER을 99.8%에서 33.0%로 감소시켰다.
• DOI는 유튜브 테스트 세트에서 삭제 오류를 99.5%에서 3.6%로 크게 감소시켰지만, 치환 오류는 여전히 높았음(22.2%), 이는 음소 혼동을 시사한다.
• 정규화 콜라주는 병합 시 가장 효과적이었으며, 개별 기법(예: SpecAugment 또는 변동성 노이즈)만 사용할 경우 성능 향상이 미미했다.
• DOI는 스트리밍 모델에서는 성능 향상이 없었으며, 이는 추론형 엔드 투 엔드 스트리밍 시스템에서 훈련 중 제약 조건이 없이도 잘못된 정렬이 발생하기 때문일 것이다.

Fig. 2 : WERs for non-streaming model on YT-short (solid line) and YT-long (dotted line) as a function of training steps. Results are also shown when only the encoder, prediction, or the prediction + joint networks are trained after $50$ k steps of training all components.