[논문 리뷰] Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition

Haşim Sak, Andrew Senior외 2명|arXiv (Cornell University)|2015. 07. 24.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 대용량 음성 인식을 위한 LSTM RNN 음성 모델을 향상시키기 위해 프레임 스택킹, 감소된 프레임 레이트, 문맥 의존(의존성 있는, CD) 음소 모델링, 그리고 sMBR 및 CTC를 이용한 시퀀스 훈련을 사용한다. 이러한 기법들은 정확도를 크게 향상시키며, CD 음소 CTC 모델은 기존의 하이브리드 모델 대비 8% 상대 오차 감소를 기록한다. 또한 언어 모델 없이도 중간 규모의 어휘 과제에서 직접 단어 수준의 모델링이 가능하며 유망한 성능을 보인다.

ABSTRACT

We have recently shown that deep Long Short-Term Memory (LSTM) recurrent neural networks (RNNs) outperform feed forward deep neural networks (DNNs) as acoustic models for speech recognition. More recently, we have shown that the performance of sequence trained context dependent (CD) hidden Markov model (HMM) acoustic models using such LSTM RNNs can be equaled by sequence trained phone models initialized with connectionist temporal classification (CTC). In this paper, we present techniques that further improve performance of LSTM RNN acoustic models for large vocabulary speech recognition. We show that frame stacking and reduced frame rate lead to more accurate models and faster decoding. CD phone modeling leads to further improvements. We also present initial results for LSTM RNN models outputting words directly.

연구 동기 및 목표

• 대용량 어휘 음성 인식(LVCSR)을 위한 LSTM RNN 음성 모델의 정확도와 효율성을 향상시키는 것.
• 프레임 스택킹과 감소된 프레임 레이트가 CTC 훈련의 수렴 안정성과 디코딩 속도 향상에 기여하는지 조사하는 것.
• CTC 훈련된 LSTM RNN에서 문맥 의존(CD) 음소 모델링과 직접적인 단어 수준 출력의 효과를 평가하는 것.
• CTC 기반 모델을 기존의 하이브리드 HMM-DNN 시스템과 비교하고, 시퀀스 훈련을 통해 성능 향상을 평가하는 것.

제안 방법

• 음성 특징의 시간적 의존성을 모델링하기 위해 단방향 및 양방향 깊은 LSTM RNN을 스택된 레이어로 사용한다.
• 강한 정렬이 필요 없이 가변 길이 정렬을 처리하기 위해 빈도 기호를 포함한 연결주의적 시간 분류(CTC)를 적용한다.
• 훈련 안정성 향상과 계산 비용 감소를 위해 프레임 스택킹과 감소된 프레임 레이트를 활용한다.
• 대규모 클러스터에서 분산 훈련을 위해 异步적 확률적 경사 하강법(ASGD)을 사용한다.
• 초기 훈련 후 CTC 모델을 개선하기 위해 sMBR 기준을 이용한 시퀀스 판별적 훈련을 적용한다.
• 언어 모델 없이도 원시 특징에서 직접 단어를 예측할 수 있도록 CTC를 사용해 종단간 단어 수준의 음성 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 프레임 스택킹과 감소된 프레임 레이트는 CTC 훈련된 LSTM RNN의 수렴 안정성과 추론 속도 향상에 기여하는가?
• RQ2 CTC 기반 LSTM RNN에서 문맥 의존(CD) 음소 모델링은 문맥 독립 또는 상태 수준 모델링보다 성능 향상에 유의미한 기여를 하는가?
• RQ3 언어 모델 없이도 CTC를 통한 직접적인 단어 수준의 음성 모델링이 언어 모델 또는 언어 모델 디코딩 없이도 경쟁 가능한 인식 정확도를 달성할 수 있는가?
• RQ4 sMBR를 이용한 시퀀스 훈련은 표준 교차 엔트로피 훈련 대비 CTC 기반 LSTM RNN의 성능에 어떤 영향을 미치는가?
• RQ5 기존의 정렬 방법은 빈도 기호가 없는 RNN에서 왜 실패하는가? CTC는 이를 어떻게 해결하는가?

주요 결과

• CTC와 sMBR 훈련을 통한 CD 음소 모델링은 기존 최고의 하이브리드 LSTM 모델 대비 상대 오차 감소 8%를 기록했다.
• 프레임 스택킹과 감소된 프레임 레이트는 훈련 안정성을 향상시키고 디코딩 시간을 줄였으며, 정확도는 유지 또는 향상시켰다.
• 7,000어휘의 양방향 CTC 모델은 검증 데이터에서 WER 11.8%를 달성했으며, 단방향 모델 대비 25% 낮은 WER를 기록했다.
• 25,000어휘의 단어 수준 CTC 모델은 어휘 내 단어에서 WER 14.5%를 기록했으며, 중간 규모 과제에 대한 실현 가능성을 보였다.
• 빈도 기호 없이 훈련된 모델은 임의의 정렬을 생성했으며, 이는 CTC에서 빈도 기호가 안정적인 시퀀스 모델링을 위해 반드시 필요하다는 것을 확인했다.
• 언어 모델 없이도 CTC 모델의 레이블 후행 확률은 음소 경계에 대응하는 날카운 예측을 보였으며, 이는 강력한 시간적 국소화 능력을 시사한다.