[논문 리뷰] Multitask Learning with CTC and Segmental CRF for Speech Recognition

Liang Lu, Lingpeng Kong외 2명|arXiv (Cornell University)|2017. 02. 21.

Speech Recognition and Synthesis참고 문헌 25인용 수 11

한 줄 요약

이 논문은 공유된 양방향 LSTM 인코더를 사용하여 연결망 시간 분류(CTC) 모델과 세그멘탈 조건부 랜덤 필드(SCRF) 모델을 동시에 학습하는 다중 작업 학습 프레임워크를 제안한다. TIMIT 데이터셋에서 엔드 투 엔드 학습 중 CTC 및 SCRF 손실 함수를 조합함으로써, 두 모델의 인식 정확도가 향상되고 CTC 사전 학습이 공동 모델의 수렴 속도를 가속화하는 데 기여한다.

ABSTRACT

Segmental conditional random fields (SCRFs) and connectionist temporal classification (CTC) are two sequence labeling methods used for end-to-end training of speech recognition models. Both models define a transcription probability by marginalizing decisions about latent segmentation alternatives to derive a sequence probability: the former uses a globally normalized joint model of segment labels and durations, and the latter classifies each frame as either an output symbol or a "continuation" of the previous label. In this paper, we train a recognition model by optimizing an interpolation between the SCRF and CTC losses, where the same recurrent neural network (RNN) encoder is used for feature extraction for both outputs. We find that this multitask objective improves recognition accuracy when decoding with either the SCRF or CTC models. Additionally, we show that CTC can also be used to pretrain the RNN encoder, which improves the convergence rate when learning the joint model.

연구 동기 및 목표

• 다중 작업 학습을 통해 CTC와 SCRF를 통합함으로써 엔드 투 엔드 음성 인식 정확도를 향상시키는 것.
• 단일 모델 대비 통합 손실 함수를 통한 학습이 일반화 능력과 강인성 향상에 기여하는지 조사하는 것.
• 공유된 RNN 인코더에 대한 CTC 사전 학습 목표가 공동 SCRF-CTC 모델의 수렴 속도를 가속화하는 데 유용한지 탐색하는 것.
• 공동 모델과 개별 CTC 및 SCRF 시스템 간의 계산 효율성과 학습 동역학을 평가하는 것.

제안 방법

• 공유된 양방향 LSTM 인코더가 입력 음성 프레임에서 음향 특징을 추출한다.
• 동일한 인코더가 CTC 및 SCRF 헤드 모두의 출력을 생성하여 공동 최적화를 가능하게 한다.
• 손실 함수는 CTC 손실(프레임 수준, 교차 엔트로피)과 SCRF 손실(시퀀스 수준, 전역 정규화)의 조합이다.
• 공동 학습 목표는 프레임 수준의 CTC 감독과 시퀀스 수준의 SCRF 판별적 학습을 통합한다.
• 공동 학습 이전에 CTC 사전 학습을 적용하여 인코더를 초기화함으로써 수렴 속도를 향상시킨다.
• 학습에는 학습률 감소와 드롭아웃 Regularization(비율 0.2)을 적용한 확률적 경사 하강법을 사용한다.

실험 결과

연구 질문

• RQ1 CTC와 SCRF를 다중 작업 학습을 통해 통합하면 개별 모델 대비 인식 정확도가 향상되는가?
• RQ2 CTC 및 SCRF 손실의 조합이 일반화 능력을 향상시키는 정규화 효과를 제공하는가?
• RQ3 공유된 RNN 인코더에 대한 CTC 사전 학습이 공동 SCRF-CTC 모델의 수렴 속도를 가속화하는가?
• RQ4 공동 모델의 계산 비용은 개별 CTC 및 SCRF 시스템과 비교해 어떻게 되는가?
• RQ5 다중 작업 학습의 성능 향상 정도가 입력 특징의 종류(예: FBANK 대 fMLLR)에 따라 달라지는가?

주요 결과

• fMLLR 특징을 사용할 경우, 다중 작업 학습을 통한 CTC와 SCRF의 조합은 TIMIT 검증 세트에서 텔레프론 오류율(PER)을 SRNN의 16.6% 및 CTC의 16.7%에서 각각 15.9%와 16.2%로 감소시켰다.
• FBANK 특징을 사용할 경우, 공동 모델은 SRNN의 18.1% 및 CTC의 17.7%에서 각각 17.5%와 17.2%로 PER를 향상시켰다.
• CTC 사전 학습 전략은 학습 곡선을 통해 공동 모델의 수렴 속도가 크게 향상됨을 보여주었다.
• 공동 모델는 최적 경로 디코딩을 통해 CTC 수준의 성능를 달성했으며, 이는 이전 연구(예: Graves 등, 2013)에서 사용된 빔 서치 디코딩 성능을 상회하거나 이를 초월했다.
• 동일한 인코더를 사용할 경우, CTC 모델은 SCRF 모델 대비 3~4배 빠르게 동작했고, 공동 모델은 단독 SCRF 모델보다 略로 더 비용이 들었다.
• 다중 작업 학습의 성능 향상 정도는 FBANK 특징을 사용할 경우 fMLLR 특징을 사용할 경우보다 더 두드러졌으며, 이는 성능 향상이 특징 유형에 따라 달라짐을 시사한다.