[논문 리뷰] The Accented English Speech Recognition Challenge 2020: Open Datasets, Tracks, Baselines, Results and Methods

Xian Shi, Fan Yu외 6명|arXiv (Cornell University)|2021. 02. 20.

Speech Recognition and Synthesis참고 문헌 36인용 수 16

한 줄 요약

이 논문은 2020년 Accented English Speech Recognition Challenge를 제시하며, 10개의 영어 억양을 포함한 180시간 분량의 오픈 데이터셋을 제공하여 억양 인식(트랙 1)과 억양이 있는 음성 인식(트랙 2)을 위한 도전 과제를 마련한다. self-supervised pretraining(예: wav2vec2.0), 데이터 증강, 하이브리드 디코딩을 활용하여 엔드 투 엔드 ASR 모델을 평가하였으며, 두 번째 디코딩을 통한 26.4%의 WER 감소와 다중 작업 억양 학습을 통한 3%의 상대적 WER 향상을 달성하였다.

ABSTRACT

The variety of accents has posed a big challenge to speech recognition. The Accented English Speech Recognition Challenge (AESRC2020) is designed for providing a common testbed and promoting accent-related research. Two tracks are set in the challenge -- English accent recognition (track 1) and accented English speech recognition (track 2). A set of 160 hours of accented English speech collected from 8 countries is released with labels as the training set. Another 20 hours of speech without labels is later released as the test set, including two unseen accents from another two countries used to test the model generalization ability in track 2. We also provide baseline systems for the participants. This paper first reviews the released dataset, track setups, baselines and then summarizes the challenge results and major techniques used in the submissions.

연구 동기 및 목표

• 억양이 있는 영어 음성 인식 및 억양 식별 분야의 연구를 발전시키기 위한 공통 테스트베드를 구축하기 위해.
• 10개의 영어 억양을 포함한 대규모이고 다양한 데이터셋을 통해 예측할 수 없는 억양에 대한 모델 일반화 문제를 해결하기 위해.
• 저자원 억양 ASR에서 self-supervised pretraining, 데이터 증강, 엔드 투 엔드 모델링의 효과를 평가하기 위해.
• 표준화된 평가 프로토콜 하에 Transformer, Conformer, 하이브리드 시스템을 포함한 다양한 아키텍처 간의 성능를 비교하기 위해.

제안 방법

• 도전 과제는 8개의 억양(중국어, 미국어, 영국어, 한국어, 일본어, 러시아어, 인도어, 포르투갈어)을 포함한 160시간의 학습 데이터셋과 2개의 새로운 억양(스페인어, 캐나다어)을 포함한 20시간의 테스트 데이터셋을 사용한다.
• 베이스라인 시스템은 대조 및 다양성 손실을 활용하여 문맥 기반 음성 표현을 학습하기 위해 Wav2Vec2.0 스타일의 self-supervised pretraining을 적용한다.
• 음량 및 속도 변형과 같은 데이터 증강 기법은 최고 성능 시스템에서 WER을 5–10% 감소시켰다.
• 엔드 투 엔드 모델, 특히 Transformer 기반 및 Conformer 아키텍처는 전체 시퀀스 모델링과 어텐션 메커니즘을 활용하여 전통적인 하이브리드 시스템을 능가했다.
• 언어 모델 재평가를 통한 두 번째 디코딩(예: 워드피ece 수준의 Transformer 언어 모델 사용)은 WER을 최대 26.4% 감소시켰다.
• 억양 인식 헤드를 포함한 다중 작업 학습은 억양이 있는 ASR에서 3%의 상대적 WER 감소를 이끌어내어 명시적 억양 모델링의 이점이 있음을 시사한다.

실험 결과

연구 질문

• RQ1 self-supervised pretraining(예: wav2vec2.0)는 저자원 억양 영어 음성 인식에서 ASR 성능 향상에 얼마나 효과적인가?
• RQ2 속도 변형 및 잡음 주입과 같은 데이터 증강 기법은 억양이 있는 음성 인식에서 일반화 능력을 얼마나 향상시키는가?
• RQ3 어텐션 메커니즘을 갖춘 엔드 투 엔드 모델은 다국어 억양 인식에서 전통적인 HMM-GMM 하이브리드 시스템을 능가할 수 있는가?
• RQ4 신경망 기반 언어 모델 재평가를 통한 두 번째 디코딩은 억양이 있는 음성 인식에서 WER 감소에 어떤 영향을 미치는가?
• RQ5 보조 억양 인식 헤드를 포함한 다중 작업 학습은 예측할 수 없는 억양에서 성능 향상에 기여하는가?

주요 결과

• 대조 및 다양성 손실을 활용한 self-supervised pretraining은 ASR 성능을 크게 향상시키며, wav2vec2.0 기반 모델은 최신 기술 성능을 달성하였다.
• 음량 및 속도 변형을 통한 데이터 증강은 최고 성능 시스템에서 WER을 5–10% 감소시켰으며, 잡음 및 반사 증강은 명확한 이점이 없었다.
• 언어 모델 재평가를 통한 두 번째 디코딩은 최고 성능 시스템(팀 S2)에서 WER을 최대 26.4% 감소시켰다.
• 워드피ece 수준의 Transformer 언어 모델과 4-그램 언어 모델의 융합은 CV 세트에서 WER을 2.4% 상대적으로 감소시켰다(3.73%에서 3.64%로).
• 억양 인식 헤드를 포함한 다중 작업 학습은 3%의 상대적 WER 감소를 이끌어내어 명시적 억양 모델링의 가치가 있음을 시사한다.
• Conformer와 라이트 Transformer 변종은 표준 Transformer를 능가하여 국소적 문맥 모델링 향상이 성능 향상에 기여함을 시사한다.