[논문 리뷰] Improving LSTM-CTC based ASR performance in domains with limited training data

Jayadev Billa|arXiv (Cornell University)|2017. 07. 03.

Speech Recognition and Synthesis참고 문헌 19인용 수 9

한 줄 요약

이 논문은 최대 편향 데이터 증강, 스택드/스트라이드 특징, 고급 드롭아웃 기법(NML 및 프론트워드 드롭아웃)을 조합하여 저자원 환경에서 LSTM-CTC 기반 음성 인식(ASR) 성능을 향상시킨다. 제안된 방법은 LibriSpeech 100시간 코퍼스에서 WER을 7.37%로 낮춰 강력한 Kaldi 기반 하이브리드 DNN 기반 기준(7.91% WER)을 능가하며, 저자원 환경에서의 성능 격차를 효과적으로 해소한다.

ABSTRACT

This paper addresses the observed performance gap between automatic speech recognition (ASR) systems based on Long Short Term Memory (LSTM) neural networks trained with the connectionist temporal classification (CTC) loss function and systems based on hybrid Deep Neural Networks (DNNs) trained with the cross entropy (CE) loss function on domains with limited data. We step through a number of experiments that show incremental improvements on a baseline EESEN toolkit based LSTM-CTC ASR system trained on the Librispeech 100hr (train-clean-100) corpus. Our results show that with effective combination of data augmentation and regularization, a LSTM-CTC based system can exceed the performance of a strong Kaldi based baseline trained on the same data.

연구 동기 및 목표

• 저자원 도메인에서 LSTM-CTC와 하이브리드 DNN-CE ASR 시스템 간의 성능 격차를 해소한다.
• LibriSpeech 100시간 코퍼스에서 LSTM-CTC ASR 성능을 향상시킨다. 이는 저자원 기준 테스트 코퍼스이다.
• 데이터 증강 및 정규화 기법이 종료형 LSTM-CTC 시스템이 복잡한 하이브리드 DNN 시스템과 경쟁 가능하게 만들 수 있음을 입증한다.
• 개선 사항이 코퍼스 특이적이지 않고 일반화 가능함을 검증한다. 이는 자원이 제한된 조건에서도 성립한다.

제안 방법

• 최대 허용 값으로 특징을 편향시키는 방식의 수정된 데이터 증강 기법인 최대 편향(max perturbation)을 적용하여 훈련 데이터의 다양성을 높인다.
• 스택드 및 스트라이드된 멜스펙트로그램 특징(예: 3x3 또는 5x5 프레임)을 사용하여 시간적 모델링 및 맥락 표현을 향상시킨다.
• 과적합을 방지하기 위해 순환층에서 과적합을 막는 정규화 기법으로 NML(노드별 최대 풀링)과 프론트워드 드롭아웃을 구현한다.
• 스토캐스틱 및 캐스케이드 구성에서 NML과 프론트워드 드롭아웃을 조합하여 일반화 능력과 내성 강도를 향상시킨다.
• EESEN 툴킷을 사용하여 CTC 손실을 최적화하고 검증 세트에서 토큰 정확도를 기준으로 최적화된 깊은 양방향 LSTM-CTC 모델을 훈련시킨다.
• 검증 성능 향상률이 매 에포크당 0.5% 미만으로 떨어질 경우 학습률을 절반으로 줄이는 'newbob' 방법을 통해 학습률 스케줄링을 적용한다.

실험 결과

연구 질문

• RQ1 최대 편향과 같은 데이터 증강 기법이 저자원 환경에서 LSTM-CTC ASR 성능을 크게 향상시킬 수 있는가?
• RQ2 특징 스택킹과 스트라이딩을 조합하면 종료형 ASR 시스템의 인식 정확도를 향상시킬 수 있는가?
• RQ3 고급 드롭아웃 기법(NML 및 프론트워드 드롭아웃)이 표준 드롭아웃보다 LSTM-CTC 모델의 과적합을 줄이는 데 더 효과적인가?
• RQ4 여러 정규화 및 증강 전략의 조합이 LSTM-CTC와 하이브리드 DNN-CE ASR 시스템 간의 성능 격차를 해소하는 데 충분한가?
• RQ5 이러한 개선 사항은 LibriSpeech 100시간 코퍼스를 초월해 일반화 가능한가, 아니면 데이터셋에 특화된 것인가?

주요 결과

• 최대 편향 데이터 증강 기법은 기준 대비 6.6% 상대적인 WER 감소를 이끌었으며, 기존의 속도 편향 기법을 능가했다.
• 스토캐스틱 구성에서 NML과 프론트워드 드롭아웃을 조합한 결과 WER은 7.44%로 떨어졌으며, 개별 드롭아웃 기법 대비 4.5% 상대적 향상이 이루어졌다.
• 캐스케이드 드롭아웃 구성(NML-시퀀스 → 프론트워드-스텝)이 가장 우수한 WER 7.37%를 기록했으며, Kaldi 기반 하이브리드 DNN 기준(7.91%)을 뛰어넘었다.
• 최종 LSTM-CTC 시스템은 기준 WER 11.81%에서 7.37%로 감소시켜 초기 Kaldi 기준과의 30–35% WER 격차를 완전히 해소했다.
• 여러 구성에서 일관되고 강력한 개선 효과를 보였으며, 이는 기법의 조합이 단일 기법보다 훨씬 효과적임을 시사한다.
• 제한된 컴퓨팅 자원 조건에서도 LibriSpeech 100시간 기준에서 최신 기술 수준의 성능을 달성하여, 저자원 ASR 분야에 괄목할 만한 잠재력을 지닌 것으로 보인다.