[논문 리뷰] Joint CTC-Attention based End-to-End Speech Recognition using Multi-task Learning

Suyoun Kim, Takaaki Hori외 1명|arXiv (Cornell University)|2016. 09. 21.

Speech Recognition and Synthesis참고 문헌 12인용 수 18

한 줄 요약

이 논문은 공유 인코더를 사용하여 CTC와 어텐션 기반 엔드 투 엔드 ASR 모델을 공동으로 훈련하는 다중 작업 학습 프레임워크를 제안한다. 이는 정렬 안정성과 수렴 속도를 향상시킨다. CTC의 왼쪽에서 오른쪽으로의 단조성 제약 조건과 어텐션의 맥락 인식 디코딩을 조합함으로써, WSJ 및 CHiME-4에서 CTC 및 어텐션 기반 기준 모델 대비 5.4–14.6%의 상대적 CER 향상을 달성하며, 노이즈가 있는 환경과 청소된 조건 모두에서 더 빠른 학습과 더 나은 일반화 성능을 보인다.

ABSTRACT

Recently, there has been an increasing interest in end-to-end speech recognition that directly transcribes speech to text without any predefined alignments. One approach is the attention-based encoder-decoder framework that learns a mapping between variable-length input and output sequences in one step using a purely data-driven method. The attention model has often been shown to improve the performance over another end-to-end approach, the Connectionist Temporal Classification (CTC), mainly because it explicitly uses the history of the target character without any conditional independence assumptions. However, we observed that the performance of the attention has shown poor results in noisy condition and is hard to learn in the initial training stage with long input sequences. This is because the attention model is too flexible to predict proper alignments in such cases due to the lack of left-to-right constraints as used in CTC. This paper presents a novel method for end-to-end speech recognition to improve robustness and achieve fast convergence by using a joint CTC-attention model within the multi-task learning framework, thereby mitigating the alignment issue. An experiment on the WSJ and CHiME-4 tasks demonstrates its advantages over both the CTC and attention-based encoder-decoder baselines, showing 5.4-14.6% relative improvements in Character Error Rate (CER).

연구 동기 및 목표

• 노이즈가 있는 환경과 긴 시퀀스에서 어텐션 기반 엔드 투 엔드 ASR의 불안정성과 느린 수렴 문제를 해결한다.
• 순수한 어텐션 모델에서 왼쪽에서 오른쪽으로의 정렬 제약 조건이 부족하여 발생하는 정렬 오류와 일반화 성능 열 劣를 해결한다.
• 다중 작업 학습 프레임워크에서 CTC의 단조성 정렬을 활용해 훈련 안정성과 수렴 속도를 향상시킨다.
• 외부 언어 모델 없이도 청소된(WSJ) 및 노이즈가 있는(CHiME-4) 음성 인식 작업에서 성능을 향상시킨다.
• CTC의 보조 목적함수가 문자 간 의존성을 모델링하지 않더라도 청소된 데이터 환경에서 일반화 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 다중 작업 학습을 통해 CTC와 어텐션 기반 디코더 목적함수를 동시에 공유 인코더와 함께 훈련한다.
• CTC 손실과 어텐션 손실의 가중 조합을 사용하며, 하이퍼파ram터 λ가 두 목적함수 간의 균형을 조절한다.
• 정방향-역방향 알고리즘을 통해 CTC 손실을 적용하여 인코더 출력에 단조성 있는 왼쪽에서 오른쪽 정렬을 강제한다.
• 이전 디코더 출력에 조건화된 디코더에서 위치 기반 어텐션 메커니즘을 사용하여 인코더 상태를 주시한다.
• 4층의 양방향 LSTM 인코더와 1층의 LSTM 디코더를 사용하며, 레이어 간 선형 투영과 잔차 연결을 구현한다.
• 기울기 클리핑과 균일한 가중치 초기화를 사용하며, AdaDelta 최적화 알고리즘을 적용하고, 길이 정규화를 적용한 범위 검색을 통해 디코딩한다.

실험 결과

연구 질문

• RQ1 CTC와 어텐션의 공동 훈련이 노이즈가 있는 음성 인식에서 정렬 안정성을 향상시킬 수 있는가?
• RQ2 CTC의 단조성 정렬 제약 조건을 통합함으로써 엔드 투 엔드 ASR의 수렴 속도가 가속화되는가?
• RQ3 청소된 데이터 및 노이즈가 있는 데이터셋에서 단일 CTC 및 어텐션 모델 대비 다중 작업 학습 프레임워크의 성능은 어떠한가?
• RQ4 ASR 성능을 최대화하기 위해 CTC 손실과 어텐션 손실 간 최적의 균형은 무엇인가?
• RQ5 문자 간 의존성을 모델링하지 않는 CTC 목적함수는 청소된 데이터 설정에서 일반화 성능 향상에 기여하는가?

주요 결과

• 공동 CTC-어텐션 모델은 WSJ 및 CHiME-4 데이터셋에서 CTC 및 어텐션 기준 모델 대비 5.4–14.6%의 상대적 CER 향상을 달성했다.
• λ = 0.2일 때 모델이 WSJ 및 CHiME-4 양쪽에서 최고의 성능을 보였으며, 이는 CTC와 어텐션 목적함수 간 최적의 균형을 의미한다.
• 학습 곡선 분석 결과, MTL 모델은 순수한 어텐션 모델보다 더 빠르게 높은 문자 정확도에 도달했고, 수렴 시점이 더 이르게 나타났다.
• 어텐션 정렬의 시각화 결과, MTL 모델은 5번째 에포크에 이미 올바른 단조성 정렬을 학습한 반면, 어텐션 모델은 9번째 에포크까지도 수렴하지 못했다.
• CTC 손실이 어텐션 메커니즘을 단조성 정렬 방향으로 효과적으로 이끌어내어 초기 훈련 단계에서의 정렬 오류를 줄였다.
• 청소된 WSJ 데이터에서도 MTL 모델은 두 기준 모델을 모두 초월했으며, 이는 CTC의 훈련 인도적 편향이 일반화 성능 향상에 기여한다는 것을 시사한다.