[논문 리뷰] An improved hybrid CTC-Attention model for speech recognition

Zhe Yuan, Zhuoran Lyu외 2명|arXiv (Cornell University)|2018. 10. 29.

Speech Recognition and Synthesis참고 문헌 13인용 수 11

한 줄 요약

이 논문은 더 깊은 인코더, BiLSTM 향상된 CTC 디코더, 그리고 주의력 스무딩을 갖춘 향상된 하이브리드 CTC-어텐션 엔드 투 엔드 음성 인식 모델을 제안하며, LibriSpeech test-clean 서브셋에서 언어 모델 없이 4.43%의 최고 성능 WER, 언어 모델을 사용할 경우 3.34%의 최고 성능 WER를 달성한다.

ABSTRACT

Recently, end-to-end speech recognition with a hybrid model consisting of the connectionist temporal classification(CTC) and the attention encoder-decoder achieved state-of-the-art results. In this paper, we propose a novel CTC decoder structure based on the experiments we conducted and explore the relation between decoding performance and the depth of encoder. We also apply attention smoothing mechanism to acquire more context information for subword-based decoding. Taken together, these strategies allow us to achieve a word error rate(WER) of 4.43% without LM and 3.34% with RNN-LM on the test-clean subset of the LibriSpeech corpora, which by far are the best reported WERs for end-to-end ASR systems on this dataset.

연구 동기 및 목표

• CTC와 주의력 메커니즘을 더 효과적으로 통합하여 엔드 투 엔드 음성 인식의 강인성과 수렴 속도를 향상시키는 것.
• 순수 주의력 기반 모델이 노이즈 조건에서 약한 점과 학습 중 오차 정렬 문제를 해결하는 것.
• 아키텍처 개선 및 최적화 기법을 통해 LibriSpeech 벤치마크에서 단어 오류율(WER)을 감소시키는 것.
• 인코더의 깊이와 CTC 디코더 브랜치에 추가된 BiLSTM 레이어가 성능에 미치는 영향을 탐색하는 것.
• 주의력 스무딩과 L2 정규화가 서브워드 기반 디코딩의 문맥 모델링을 향상시키는 데 효과적인지 평가하는 것.

제안 방법

• 4층의 CNN과 7층의 BiLSTM(각 방향당 1024개 유닛)으로 구성된 공유 인코더를 갖춘 하이브리드 CTC-어텐션 아키텍처를 제안한다.
• CTC 디코더 브랜치에 BiLSTM 레이어를 추가하여 정렬 학습을 향상시키고 WER를 감소시킨다.
• 주의력 스무딩을 적용하여 문맥 모델링을 향상시키고 디코딩 중 일반화 성능을 향상시킨다.
• CTC 손실과 주의력 손실을 조합한 가중치 손실 함수를 사용하며, 최적 성능을 위해 초모델 하이퍼파라미터 α를 0.1로 조정한다.
• OoV 문제를 완화하기 위해 5000개의 서브워드 유닛을 갖는 바이트 페어 인코딩(BPE)을 사용한다.
• KALDI를 사용해 80차원의 멜 필터뱅크 특징를 추출하고, 3배 속도 왜곡(0.9x, 1.0x, 1.1x)을 통한 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 인코더의 깊이를 증가시키면 하이브리드 CTC-어텐션 모델의 성능에 어떤 영향을 미치는가?
• RQ2 CTC 디코더 브랜치에 BiLSTM 레이어를 추가하면 WER에 어떤 영향을 미치는가?
• RQ3 주의력 스무딩은 서브워드 기반 엔드 투 엔드 ASR에서 디코딩 성능을 어떻게 향상시키는가?
• RQ4 LibriSpeech에서 WER를 최소화하기 위해 CTC와 주의력 손실 간의 최적 균형(α)은 무엇인가?
• RQ5 제안된 모델은 외부 언어 모델 없이 LibriSpeech에서 최고 성능을 달성할 수 있는가?

주요 결과

• 언어 모델 없이 LibriSpeech test-clean 서브셋에서 단어 오류율(WER) 4.43%를 기록하여 새로운 최고 성능을 달성한다.
• RNN-LM를 사용할 경우 test-clean 서브셋에서 WER 3.34%를 기록하며, 엔드 투 엔드 시스템 중에서도 새로운 최고 성능을 달성한다.
• RNN-LM를 사용할 경우 CTC 디코더 브랜치에 BiLSTM 레이어를 추가하면 WER가 약 25% 감소한다.
• 인코더의 BiLSTM 레이어 수를 5개에서 7개로 증가시키면 WER 성능이 향상되며, 7개 레이어에 CTC-BiLSTM를 추가한 경우가 가장 우수한 성능을 보였다.
• 최적의 손실 가중치 α는 0.1로, 이는 CTC 손실이 주의력 기반 디코딩을 보조하기 위해 소량의 기여를 해야 한다는 것을 시사한다.
• test-clean 및 test-other 서브셋 모두에서 기존의 엔드 투 엔드 시스템인 DeepSpeech2, ESPnet, I-Attention를 능가하는 성능을 보였다.