[논문 리뷰] Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers

Huahuan Zheng, Wenjie Peng외 2명|arXiv (Cornell University)|2021. 07. 07.

Speech Recognition and Synthesis참고 문헌 44인용 수 4

한 줄 요약

이 논문은 CTC-CRF 기반의 일괄적 음성 인식에서 워드피스 모델링 단위와 컨포머 신경망을 통합하여 Switchboard, Librispeech 및 CommonVoice 독일어 데이터셋에서 최신 기술 수준의 성능을 달성한다. 결과적으로 컨포머 모델은 BLSTM 및 VGG-BLSTM보다 정확도를 크게 향상시키며, 철자-음소 대응성이 높은 언어(예: 독일어)에서는 워드피스 기반 시스템이 음소 기반 성능을 따라잡지만, 영어에서는 약간 떨어지는 성능을 보인다.

ABSTRACT

Automatic speech recognition systems have been largely improved in the past few decades and current systems are mainly hybrid-based and end-to-end-based. The recently proposed CTC-CRF framework inherits the data-efficiency of the hybrid approach and the simplicity of the end-to-end approach. In this paper, we further advance CTC-CRF based ASR technique with explorations on modeling units and neural architectures. Specifically, we investigate techniques to enable the recently developed wordpiece modeling units and Conformer neural networks to be succesfully applied in CTC-CRFs. Experiments are conducted on two English datasets (Switchboard, Librispeech) and a German dataset from CommonVoice. Experimental results suggest that (i) Conformer can improve the recognition performance significantly; (ii) Wordpiece-based systems perform slightly worse compared with phone-based systems for the target language with a low degree of grapheme-phoneme correspondence (e.g. English), while the two systems can perform equally strong when such degree of correspondence is high for the target language (e.g. German).

연구 동기 및 목표

• 워드피스 모델링 단위를 CTC-CRF 기반 자동 음성 인식 시스템에 통합하는 것을 탐구한다.
• 컨포머 신경망이 CTC-CRF 프레임워크 내에서 ASR 성능 햖스를 향상시키는 데 효과적인지 평가한다.
• 모델 크기, 데이터 증강 및 입력 특징이 CTC-CRF 성능에 미치는 영향을 분석한다.
• 철자-음소 대응성의 정도에 따라 다양한 언어에서 워드피스 기반 및 음소 기반 시스템의 성능을 비교한다.
• 발음 사전이 필요 없이도 CTC-CRF가 현대적인 아키텍처와 단위를 활용해 최신 기술 수준의 성능을 달성할 수 있음을 입증한다.

제안 방법

• CTC-CRF 프레임워크 내에서 음성 모델로 컨포머 신경망을 도입하여 이전의 BLSTM 및 VGG-BLSTM 아키텍처를 대체한다.
• 모델링 단위로 워드피스 토크나이제이션(BPE 등)을 사용하여 전통적인 음소 기반 단위를 대체한다.
• 비율 기반 SpecAug를 적용하여 데이터 증강을 수행하여 모델의 강인성과 일반화 능력을 향상시킨다.
• 입력으로 3채널 120차원 Fbank 특징에 델타 및 델타-델타를 추가하여 특징 표현을 향상시킨다.
• 학습률 스케줄러를 사용하고, CTC-CRF 설정에서 컨포머 학습을 최적화하기 위한 하이퍼파rameter를 조정하여 모델을 훈련시킨다.
• 모델 크기, 입력 특징 및 데이터 증강에 대한 아블레이션 스터디를 수행하여 성능 향상의 원인을 분리 분석한다.

실험 결과

연구 질문

• RQ1 컨포머 신경망은 BLSTM 및 VGG-BLSTM보다 CTC-CRF 기반 ASR에서 인식 정확도를 향상시킬 수 있는가?
• RQ2 철자-음소 대응성이 낮은가 높은가에 따라 언어에 따라 워드피스 기반 모델링과 음소 기반 모델링이 CTC-CRF 시스템에서 어떻게 다른가?
• RQ3 입력 특징 표현 및 데이터 증강이 컨포머를 사용한 CTC-CRF 성능에 어떤 영향을 미치는가?
• RQ4 컨포머 모델 크기를 증가시키면 CTC-CRF ASR에서 일관된 성능 향상이 이루어지는가?
• RQ5 발음 사전이 필요 없이 CTC-CRF 프레임워크가 컨포머와 같은 현대 신경망 아키텍처를 효과적으로 활용할 수 있는가?

주요 결과

• 컨포머 기반 CTC-CRF 모델은 파rameter 수가 적은 상태에서도 BLSTM 대비 5.3% 상대적 WER 감소를 달성했다.
• 컨포머-M+ 모델(51M 파라미터)은 Switchboard Eval2000에서 12.1% WER를 기록하여 BLSTM 및 VGG-BLSTM를 모두 초월했다.
• 영어 데이터셋(Switchboard 및 Librispeech)에서는 워드피스 기반 시스템이 음소 기반 시스템보다 약간 열등했으며, 절대적 WER 격차는 0.4–0.5%였다.
• 독일어 CommonVoice 데이터셋에서는 워드피스 기반 및 음소 기반 시스템이 유사한 성능을 보였으며, 이는 높은 철자-음소 대응성이 워드피스 성공을 가능하게 한다는 것을 시사한다.
• 비율 기반 증강을 사용한 SpecAug는 Switchboard에서 7.1% WER 감소, CH에서 9.3% WER 감소를 기록하여 프레임 기반 고정 SpecAug를 능가했다.
• 40차원 대비 80차원 Fbank 특징을 사용할 경우 테스트 세트 전반에서 WER가 0.3–0.4% 감소하여 고차원 특징의 유용성을 입증했다.