[논문 리뷰] Input Length Matters: Improving RNN-T and MWER Training for Long-form Telephony Speech Recognition

Zhiyun Lu, Yanwei Pan외 6명|arXiv (Cornell University)|2021. 10. 08.

Speech Recognition and Synthesis인용 수 10

한 줄 요약

이 논문은 긴 입력 세그먼트에서 엔드 투 엔드 RNN-T 모델을 훈련시키면 장기적인 통화 음성 인식에서 단어 오류율(WER)을 크게 향상시킨다는 것을 보여준다. 로그 손실을 사용할 경우 평균 15.7% 향상되고, MWER 손실을 사용할 경우 8.8% 향상된다. 두 단계 훈련 레시피를 제안한다. 첫 번째 단계는 긴 세그먼트에서 로그 손실로 사전 훈련하고, 두 번째 단계는 원본 세그먼트에서 MWER로 미세 조정하는 방식이다. 이로써 4.8시간의 MWER 훈련으로 거의 최적의 WER를 달성할 수 있었고, 긴 세그먼트에서 전체 MWER 훈련에 비해 4배 빠른 속도를 기록했다.

ABSTRACT

End-to-end models have achieved state-of-the-art results on several automatic speech recognition tasks. However, they perform poorly when evaluated on long-form data, e.g., minutes long conversational telephony audio. One reason the model fails on long-form speech is that it has only seen short utterances during training. In this paper we study the effect of training utterance length on the word error rate (WER) for RNN-transducer (RNN-T) model. We compare two widely used training objectives, log loss (or RNN-T loss) and minimum word error rate (MWER) loss. We conduct experiments on telephony datasets in four languages. Our experiments show that for both losses, the WER on long-form speech reduces substantially as the training utterance length increases. The average relative WER gain is 15.7% for log loss and 8.8% for MWER loss. When training on short utterances, MWER loss leads to a lower WER than the log loss. Such difference between the two losses diminishes when the input length increases.

연구 동기 및 목표

• 장기적인 통화 음성 인식을 위한 RNN-T 모델 성능에 훈련 음성 길이가 미치는 영향을 조사하는 것.
• 장기적인 입력에서 로그 손실과 MWER 손실의 효과를 비교하는 것.
• 분할 없이 장기적인 오디오에서 WER를 감소시키기 위해 더 긴 훈련 시퀀스를 활용하는 것.
• 로그 손실과 MWER 손실의 장점을 결합한 계산 비용이 낮은 효율적인 훈련 레시피를 개발하는 것.
• 노출 편향을 최소화하고 장기적이고 노이즈가 많은 통화 녹음에 대한 일반화 성능을 향상시키는 것.

제안 방법

• 저자는 짧은 음성에서부터 전체 대화까지 다양한 길이로 분할된 훈련 데이터를 사용하여 RNN-T 모델을 훈련시키며, 비음성 세그먼트와 다수의 화자 정보를 유지한다.
• 두 가지 훈련 목표를 비교한다: 표준 로그 손실(RNN-T 손실)과 최소 단어 오류율(MWER) 손실로, 후자는 테스트 지표를 직접 최적화한다.
• MWER 훈련에서는 범위 검색을 사용해 N개의 최선 후보를 생성하고, 이 후보들에 대한 기대 단어 오류율을 근사한다.
• 두 단계 훈련 레시피를 제안한다: 먼저 긴 세그먼트에서 로그 손실로 사전 훈련하고, 그 다음 원본으로 분할되지 않은 데이터에서 MWER로 미세 조정한다.
• 모델 전체와 디코더(예측 및 조인트 네트워크)만을 대상으로 미세 조정하는 실험을 수행하며, MWER 목표 함수의 λ를 감소시킨다.
• 네 언어의 통화 데이터셋에서 평가를 수행하며, 도메인 내 및 도메인 외 테스트 세트를 포함하고, WER와 계산 비용을 측정한다.

실험 결과

연구 질문

• RQ1 훈련 음성 길이를 늘일수록 RNN-T 모델의 장기적인 통화 음성 인식 성능이 향상되는가?
• RQ2 장기적인 입력에서 로그 손실과 MWER 손실을 사용했을 때 WER 감소 효과는 어떻게 비교되는가?
• RQ3 성능을 희생시키지 않고 장기적인 ASR에 대해 MWER 손실을 계산적으로 실현 가능하게 만들 수 있는가?
• RQ4 로그 손실과 MWER 손실을 조합한 두 단계 훈련 레시피가 더 낮은 훈련 비용으로 더 낮은 WER를 달성할 수 있는가?
• RQ5 훈련 데이터에 더 긴 컨텍스트가 포함될 경우 장기적 데이터에 대한 모델 일반화 능력은 어떻게 변화하는가?

주요 결과

• 네 언어 전반에 걸쳐 로그 손실을 사용할 경우 평균 15.7% 향상되고, MWER 손실을 사용할 경우 평균 8.8% 향상된다.
• 훈련 입력 길이가 길어질수록 MWER와 로그 손실 간 성능 격차가 줄어들며, 이는 더 긴 입력이 MWER의 이점을 감소시킨다는 것을 시사한다.
• 스페인어 장기 테스트 세트에서 두 손실 함수 모두 더 긴 훈련 세그먼트를 사용할수록 WER가 일관되게 향상된다.
• 두 단계 훈련 레시피—긴 세그먼트에서 로그 손실로 사전 훈련하고, 원본 세그먼트에서 MWER로 미세 조정—은 전체 MWER 훈련과 비슷하거나 더 낮은 WER를 달성한다.
• MWER로 디코더만 미세 조정하면 총 훈련 시간이 4.8시간으로 단축되어, 긴 세그먼트에서 전체 MWER 훈련에 비해 4배 빠른 속도를 기록한다.
• 두 단계 접근 방식은 도메인 내 및 도메인 외 통화 테스트 세트에서 최신 기술 수준의 WER를 달성했으며, 엔드 투 엔드 MWER 훈련에 비해 계산 비용을 크게 낮췄다.