[논문 리뷰] Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation

Thai‐Son Nguyen, Sebastian Stueker외 2명|arXiv (Cornell University)|2019. 10. 29.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 순차적-순차적(S2S) 음성 인식 모델의 성능을 향상시키기 위해 실시간 데이터 증강 기법—주파수 도메인에서의 시간 스트레칭, SpecAugment, 부분 시퀀스 샘플링—을 제안한다. 학습 중에 이러한 방법을 적용함으로써, 외부 언어 모델을 사용하지 않고도 Switchboard에서 5.2%의 WER, Callhome에서 10.2%의 WER를 달성하였으며, LSTM 기반 및 자기주의 어텐션(S2S) 아키텍처에서 모두 과적합을 크게 감소시켰다.

ABSTRACT

Sequence-to-Sequence (S2S) models recently started to show state-of-the-art performance for automatic speech recognition (ASR). With these large and deep models overfitting remains the largest problem, outweighing performance improvements that can be obtained from better architectures. One solution to the overfitting problem is increasing the amount of available training data and the variety exhibited by the training data with the help of data augmentation. In this paper we examine the influence of three data augmentation methods on the performance of two S2S model architectures. One of the data augmentation method comes from literature, while two other methods are our own development - a time perturbation in the frequency domain and sub-sequence sampling. Our experiments on Switchboard and Fisher data show state-of-the-art performance for S2S models that are trained solely on the speech training data and do not use additional text data.

연구 동기 및 목표

• 최근 아키텍처적 발전에도 불구하고 여전히 주요 성능 저하 요인인 대규모 순차적-순차적(S2S) 음성 인식 모델의 과적합 문제를 해결하기 위해.
• 표준 ASR 벤치마크에서 S2S 모델의 일반화 및 내성에 기여하는 실시간 데이터 증강 기법의 효과를 조사하기 위해.
• 시간 스트레칭, SpecAugment, 부분 시퀀스 샘플링 등의 다양한 증강 전략이 LSTM 기반 및 자기주의 어텐션 S2S 아키텍처에 미치는 영향을 비교하기 위해.
• 외부 텍스트 데이터나 언어 모델 없이도 순수 음성 학습 데이터만을 사용하여 Switchboard 및 Callhome 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 시간 스트레칭은 특징 시퀀스를 윈도우로 나누고, 균일 분포에서 무작위 스트레칭 요소를 사용하여 가장 가까운 이웃 보간법을 통해 각 윈도우를 재샘플링함으로써 로그-멜 스펙트로그램 특징에 적용된다.
• SpecAugment는 주파수 마스킹(연속된 f개의 주파수 채널을 무작위로 마스킹)과 시간 마스킹(연속된 t개의 시간 스텝을 마스킹)을 통해 구현되며, 각 음성에 대해 T번 적용되며 T는 모델 아키텍처에 맞게 조정된다.
• 부분 시퀀스 샘플링은 전체 참조 전사본에서 무작위로 부분 시퀀스를 추출하여 타겟 전사본을 생성함으로써 디코더가 부분적 또는 가변 길이 출력을 처리하도록 훈련시킨다.
• 모든 증강 기법은 학습 중 실시간으로 적용되어 효율적인 계산과 모델과의 동시 최적화를 가능하게 한다.
• LSTM 기반 모델은 드롭아웃과 확률적 깊이 정규화를 사용하고, 자기주의 어텐션 모델은 드롭아웃과 확률적 레이어 정규화를 사용하여 과적합을 추가로 완화한다.
• 실험은 Switchboard(SWB) 및 Fisher 데이터셋에서 수행되었으며, 증강 기법 조합과 하이퍼파라미터 튜닝(예: T, 윈도우 크기)에 대한 분석도 포함된다.

실험 결과

연구 질문

• RQ1 실시간 데이터 증강 기법은 순차적-순차적 음성 인식 모델의 일반화 및 내성에 어떤 영향을 미치는가?
• RQ2 시간 스트레칭, SpecAugment, 부분 시퀀스 샘플링의 상대적 기여도는 S2S 모델의 WER 감소에 어떤가?
• RQ3 LSTM 기반 및 자기주의 어텐션 S2S 아키텍처는 다양한 데이터 증강 전략에 대해 어떻게 다른 민감도를 보이는가?
• RQ4 효과적인 데이터 증강만으로도 외부 언어 모델이나 텍스트 데이터 없이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 하이퍼파라미터 설정(예: 마스킹 적용 횟수 T)은 각기 다른 모델 아키텍처에서 최적의 성능을 내기 위해 어떻게 설정되어야 하는가?

주요 결과

• 시간 스트레칭과 SpecAugment의 조합은 LSTM 기반 모델에서 Switchboard(Hub5’00)의 WER을 13.5%로 감소시키고, 자기주의 어텐션 모델에서는 13.4%로 감소시켜 개별 방법보다 우수한 성능을 보였다.
• 부분 시퀀스 샘플링은 시간 스트레칭과 SpecAugment와 함께 적용되었을 때 자기주의 어テン션 모델의 WER을 Switchboard에서 13.0%로 향상시켰지만, LSTM 기반 모델의 성능은 악화시켜 과적합 행동의 차이를 보였다.
• 고정된 부분 시퀀스 세트를 사용하면 LSTM 기반 모델의 WER이 13.0%로 향상되었고, 자기주의 어텐션 모델의 성능은 유지되었으며, 이는 고정된 부분 시퀀스가 순환 아키텍처에 더 안정적임을 시사한다.
• 2,000시간 분량의 전체 Switchboard+Fisher 학습 세트에서, LSTM 기반 모델과 자기주의 어텐션 모델의 앙상블은 Switchboard에서 5.2%의 WER, Callhome에서 10.2%의 WER를 기록하였으며, 외부 언어 모델 없이도 이전 최신 기술 수준 결과를 충족하거나 초월하였다.
• 자기주의 어텐션 모델은 LSTM 모델(100k)보다 더 많은 학습 업데이트(250k)가 필요로 하여, 동일한 증강 환경에서 최적화 다이내믹스가 다름을 보였다.
• 최적의 설정은 LSTM 모델에 대해 T=2, 자기주의 어テン션 모델에 대해 T=1로 설정하였으며, 최고 성능를 얻기 위해 윈도우 크기 w를 무한대(전체 시퀀스)로 설정하였다.