[논문 리뷰] Intermediate Loss Regularization for CTC-based Speech Recognition

Jaesong Lee, Shinji Watanabe|arXiv (Cornell University)|2021. 02. 05.

Speech Recognition and Synthesis참고 문헌 39인용 수 7

한 줄 요약

이 논문은 CTC 기반 ASR 인코더의 중간층에 CTC 손실을 적용하는 간단한 보조 학습 목표인 중간 CTC 손실을 제안한다. 이는 최소한의 계산 오버헤드로 모델의 일반화 성능을 향상시킨다. 이 방법은 자동 생성 디코더나 외부 언어 모델 없이도 그리디 디코딩만으로도 WSJ에서 9.9% WER, AISHELL-1에서 5.2% CER를 달성하여 CTC-only 모델 중 최고 성능을 기록한다.

ABSTRACT

We present a simple and efficient auxiliary loss function for automatic speech recognition (ASR) based on the connectionist temporal classification (CTC) objective. The proposed objective, an intermediate CTC loss, is attached to an intermediate layer in the CTC encoder network. This intermediate CTC loss well regularizes CTC training and improves the performance requiring only small modification of the code and small and no overhead during training and inference, respectively. In addition, we propose to combine this intermediate CTC loss with stochastic depth training, and apply this combination to a recently proposed Conformer network. We evaluate the proposed method on various corpora, reaching word error rate (WER) 9.9% on the WSJ corpus and character error rate (CER) 5.2% on the AISHELL-1 corpus respectively, based on CTC greedy search without a language model. Especially, the AISHELL-1 task is comparable to other state-of-the-art ASR systems based on auto-regressive decoder with beam search.

연구 동기 및 목표

• 자기회귀적 디코더나 외부 언어 모델에 의존하지 않고 CTC(연결주의 시간 분류) 기반의 엔드 투 엔드 음성 인식(ASR) 모델의 성능을 향상시키는 것.
• CTC의 강한 조건부 독립성 가정과 어텐션 기반 모델 대비 열등한 성능 등의 한계를 가볍고 효과적인 정규화 기법을 통해 해결하는 것.
• 딥러닝 인코더의 더 깊은 층에서 특징 학습을 향상시키면서도 추론 효율성을 유지하는 학습 목표를 설계하는 것.
• 중간 CTC 손실과 같은 다른 정규화 기법(예: 확률적 깊이) 간의 상호보완적 상호작용을 탐색하여 모델의 강건성과 정확도를 더욱 향상시키는 것.

제안 방법

• 최종 층이 아닌 중간 인코더 층의 출력에서 계산되는 보조 손실 함수인 중간 CTC 손실을 도입한다.
• 표준 CTC 손실과 중간 CTC 손실의 가중 조합을 사용하여 모델을 학습하며, 두 목표를 균형 조절하기 위한 하이퍼파라미터를 도입한다.
• 자기회귀적 모델이 아닌 Transformer 및 Conformer 아키텍처에 중간 CTC 손실을 적용한다. 이는 자기회귀적 모델의 성능을 향상시키기 위해 자기주도 어텐션과 컨볼루션 레이어를 조합한 아키텍처이다.
• 중간 CTC 손실과 확률적 깊이 정규화를 결합한다. 학습 중 임의의 잔차 블록을 제거함으로써 일반화 성능을 향상시킨다.
• 추론 시 그리디 디코딩을 사용하여 표준 CTC와 동일한 계산 비용을 유지한다.
• WSJ, AISHELL-1, TED-LIUM2 등 다양한 벤치마크에서 동일한 학습 및 디코딩 프로토콜을 기준으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CTC 손실을 인코더의 중간층에 적용함으로써 추론 비용 증가 없이 CTC 기반 ASR 모델의 성능을 향상시킬 수 있는가?
• RQ2 중간 CTC 손실은 성능 향상과 학습 효율성 측면에서 다른 보조 학습 전략과 비교해 어떻게 성과를 내는가?
• RQ3 중간 CTC 손실과 확률적 깊이를 조합하면 ASR 정확도 향상에 추가로 기여하는가?
• RQ4 중간 CTC 손실은 CTC를 초기 예측에 사용하는 비자기회적 ASR 방법(예: Mask CTC)의 성능을 향상시킬 수 있는가?
• RQ5 CTC 전용 모델이 비트리밍 또는 언어 모델 없이도 얼마나 높은 성능을 달성할 수 있는가?

주요 결과

• 중간 CTC 손실은 Transformer 및 Conformer를 포함한 다양한 아키텍처에서 ASR 성능 향상을 이끌었으며, WSJ, AISHELL-1, TED-LIUM2에서 일관된 성능 향상을 보였다.
• WSJ 코퍼스에서는 CTC와 그리디 디코딩만으로도 WER 9.9%를 달성하여 이전의 비자기회적 CTC 기반 모델을 능가했으며, 자기회귀적 최고 성능 모델에 가까이 다가섰다.
• AISHELL-1 코퍼스에서는 CER 5.2%를 기록하여 Transformer 기반 인코더-디코더 모델을 초월했으며, 자기회귀적 최고 성능 결과인 5.1%에 근접했다.
• 중간 CTC 손실과 확률적 깊이의 조합이 가장 뛰어난 성능을 보였으며, 상호보완적인 정규화 효과를 입증했다.
• 중간 CTC 손실은 Mask CTC 기반의 비자기회적 ASR 성능 향상에도 기여하여, WSJ에서 WER를 13.5%에서 11.6%로 감소시켰다. 이는 더 넓은 적용 가능성을 보여준다.
• 제거 실험 결과, 기본 중간층 선택(예: 네트워크의 중앙부)이 랜덤 또는 낮은 레이어 버전보다 가장 우수한 성능을 보였으며, 이는 최적의 위치임을 확인했다.