[논문 리뷰] Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model

Keqi Deng, Songjun Cao외 2명|arXiv (Cornell University)|2021. 12. 14.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 순차적-순차적 엔드 투 엔드 ASR 시스템에서 사전 훈련된 wav2vec2.0 음성 모델(AM)과 DistilGPT2 언어 모델(LM)을 모두 활용하는 하이브리드 CTC/어텐션 기반 Preformer 아키텍처를 제안한다. wav2vec2.0으로 인코더를 초기화하고 DistilGPT2로 초기화된 하나의 크로스 어텐션 디코더(OCD)를 도입함으로써, AISHELL-1에서 4.6%의 문자 오류률(CER)을 달성하였으며, 이는 순수한 Transformer 기반 베이스라인 대비 27%의 상대적 감소를 나타낸다.

ABSTRACT

Recently, self-supervised pretraining has achieved impressive results in end-to-end (E2E) automatic speech recognition (ASR). However, the dominant sequence-to-sequence (S2S) E2E model is still hard to fully utilize the self-supervised pre-training methods because its decoder is conditioned on acoustic representation thus cannot be pretrained separately. In this paper, we propose a pretrained Transformer (Preformer) S2S ASR architecture based on hybrid CTC/attention E2E models to fully utilize the pretrained acoustic models (AMs) and language models (LMs). In our framework, the encoder is initialized with a pretrained AM (wav2vec2.0). The Preformer leverages CTC as an auxiliary task during training and inference. Furthermore, we design a one-cross decoder (OCD), which relaxes the dependence on acoustic representations so that it can be initialized with pretrained LM (DistilGPT2). Experiments are conducted on the AISHELL-1 corpus and achieve a $4.6\%$ character error rate (CER) on the test set. Compared with our vanilla hybrid CTC/attention Transformer baseline, our proposed CTC/attention-based Preformer yields $27\%$ relative CER reduction. To the best of our knowledge, this is the first work to utilize both pretrained AM and LM in a S2S ASR system.

연구 동기 및 목표

• 주요 순차적-순차적 엔드 투 엔드 ASR 시스템에 사전 훈련된 음성 모델과 언어 모델을 효과적으로 통합하는 문제를 해결하기 위해.
• 표준 어텐션 기반 디코더가 음성 표현에 의존하기 때문에 독립적으로 사전 훈련이 불가능한 한계를 극복하기 위해.
• 자기지도 학습 기반 사전 훈련된 AM(wav2vec2.0 등)과 자동회귀 기반 사전 훈련된 LM(DistilGPT2 등)을 조합함으로써 ASR 성능을 크게 향상시킬 수 있는지 탐색하기 위해.
• 사전 훈련된 AM과 LM 구성 요소를 통합된, 훈련 가능한 엔드 투 엔드 프레임워크에서 최대한 활용할 수 있도록 하는 새로운 아키텍처를 설계하기 위해.
• 낮은 자원의 비영어 ASR 벤치마크(AISHELL-1)에서 이 접근 방식의 유효성을 검증하기 위해.

제안 방법

• 자기지도 학습된 음성 표현을 활용하기 위해 사전 훈련된 wav2vec2.0 모델로 인코더를 초기화한다.
• 수렴 안정성 향상과 모든 가능한 시간 경계를 고려한 베이즈 서치를 가능하게 하기 위해 보조 훈련 목표로 CTC 브랜치를 도입한다.
• 단일 다중 헤드 크로스 어텐션 레이어만을 사용하는 하나의 크로스 어텐션 디코더(OCD)를 제안하여 인코더 출력에 대한 의존도를 감소시키고, 디코더의 독립적 사전 훈련을 가능하게 한다.
• 고품질의 언어 표현을 ASR 시스템에 통합하기 위해 OCD 디코더를 사전 훈련된 DistilGPT2 모델로 초기화한다.
• 시퀀스-투-시퀀스 모델링과 CTC 기반 정렬의 장점을 결합하기 위해 하이브리드 CTC/어텐션 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 효율적이고 효과적인 언어 모델 초기화를 위해 GPT2를 DistilGPT2로 압축하기 위한 지식 정복 기법을 적용한다.

실험 결과

연구 질문

• RQ1 순차적-순차적 ASR 모델이 통합된 프레임워크 내에서 사전 훈련된 음성 모델(wav2vec2.0)과 사전 훈련된 언어 모델(DistilGPT2)을 효과적으로 활용할 수 있는가?
• RQ2 하이브리드 CTC/어텐션 트랜스포머 ASR 시스템에서 CTC 브랜치를 도입함으로써 훈련 안정성과 추론 성능이 향상되는가?
• RQ3 하나의 크로스 어텐션 디코더(OCD) 아키텍처가 음성 표현에 대한 의존도를 충분히 감소시켜 DistilGPT2와 같은 언어 모델로 디코더의 효과적인 사전 훈련을 가능하게 하는가?
• RQ4 영어 wav2vec2.0을 사용한 다국어 사전 훈련 전략이 낮은 자원 언어 인식에 어떤 영향을 미치는가?
• RQ5 제안된 Preformer는 문자 오류률 측면에서 표준 외부 언어 모델의 미세조정 또는 순수한 베이스라인 대비 성능에서 어떻게 비교되는가?

주요 결과

• 제안된 Preformer는 AISHELL-1 테스트 세트에서 4.6%의 문자 오류률(CER)을 달성하여 순수한 하이브리드 CTC/어텐션 트랜스포머 베이스라인을 크게 능가한다.
• Preformer는 베이스라인 대비 27%의 상대적 CER 감소를 기록하여 AM과 LM를 함께 사전 훈련함으로써 효과적인 성능 향상을 입증한다.
• OCD를 제외한 사전 훈련된 wav2vec2.0 인코더만을 사용할 경우 테스트 세트에서 CER가 6.3%에서 5.0%로 감소하여 AM 사전 훈련의 유용성을 보여준다.
• OCD 디코더를 DistilGPT2로 초기화함으로써 테스트 세트에서 CER가 5.6%에서 4.6%로 감소하여 디코더 내 언어 모델 사전 훈련의 가치를 확인한다.
• 제거 분석 결과, 영어 wav2vec2.0 모델을 사용해 인코더를 사전 훈련해도 무작위 트랜스포머 인코더보다 성능이 향상됨을 보여주어 다국어 전이 가능성(_cross-lingual transferability_)을 시사한다.
• Shallow fusion 방식으로 DistilGPT2를 외부 언어 모델로 미세조정하면 베이스라인 CER가 5.9%에서 5.7%로 감소하지만, 제안된 OCD 기반 내부 통합 방식은 4.3% CER를 달성하여 훨씬 뛰어난 통합 효율성을 보여준다.