[논문 리뷰] Deep LSTM for Large Vocabulary Continuous Speech Recognition

Xu Tian, Jun Zhang외 7명|arXiv (Cornell University)|2017. 03. 21.

Speech Recognition and Synthesis참고 문헌 14인용 수 23

한 줄 요약

이 논문은 대규모 어휘 연속 음성 인식을 위한 깊이 있는 단방향 LSTM 학습 프레임워크를 제안한다. 이 프레임워크는 계층별 사전 학습, 지수이동평균(EMA), 지식 정복을 포함한다. 지식 정복을 통해 9층 모델에서 2층 모델로 지식을 전달함으로써 상대적 문자오류률(CER)을 14% 감소시키며, 정확도 손실은 최소화하고 실시간 요인(RTF)도 낮춘다. 또한 전체 데이터셋의 14%만으로도 효율적인 전이학습을 가능하게 한다.

ABSTRACT

Recurrent neural networks (RNNs), especially long short-term memory (LSTM) RNNs, are effective network for sequential task like speech recognition. Deeper LSTM models perform well on large vocabulary continuous speech recognition, because of their impressive learning ability. However, it is more difficult to train a deeper network. We introduce a training framework with layer-wise training and exponential moving average methods for deeper LSTM models. It is a competitive framework that LSTM models of more than 7 layers are successfully trained on Shenma voice search data in Mandarin and they outperform the deep LSTM models trained by conventional approach. Moreover, in order for online streaming speech recognition applications, the shallow model with low real time factor is distilled from the very deep model. The recognition accuracy have little loss in the distillation process. Therefore, the model trained with the proposed training framework reduces relative 14\% character error rate, compared to original model which has the similar real-time capability. Furthermore, the novel transfer learning strategy with segmental Minimum Bayes-Risk is also introduced in the framework. The strategy makes it possible that training with only a small part of dataset could outperform full dataset training from the beginning.

연구 동기 및 목표

• 기울기 소실과 수렴 불량으로 인해 최적화가 어려운 매우 깊은 LSTM 모델을 대규모 어휘 연속 음성 인식(LVCSR)에 적용하는 데 도전한다.
• 깊고 정확한 모델에서 얕고 저지연 시간을 가진 모델로 지식을 정복함으로써 실시간 스트리밍 음성 인식을 가능하게 하되, 성능 저하를 최소화한다.
• 도메인 특화 적응을 위한 데이터 및 학습 비용을 줄이기 위해, 세그멘탈 최소 베이즈-리스크(sMBR)를 활용한 새로운 전이학습 전략을 도입함으로써 전체 데이터셋의 작은 비율(예: 14%)으로도 높은 성능을 달성한다.
• 다중 GPU 환경에서 동기적 SGD와 모델 평균화를 결합하고, 계층별 사전 학습, EMA, 그리고 블록단위 모델 업데이트 필터(BMUF)를 통해 학습 효율성과 모델의 강건성을 향상시킨다.

제안 방법

• 계층별 사전 학습을 통해 깊은 LSTM 네트워크를 초기화함으로써 Xavier 초기화보다 수렴성과 성능을 향상시킨다.
• 학습 중 모델 파라미터의 지수이동평균(EMA)을 적용하여 최적화를 안정화하고 일반화 성능을 향상시킨다.
• 9층 깊은 LSTM 모델에서 2층 얕은 모델로 지식 정복을 수행함으로써 실시간 요인(RTF)을 크게 감소시키면서도 높은 정확도를 유지한다.
• 세그멘탈 최소 베이즈-리스크(sMBR) 손실을 활용한 새로운 전이학습 전략을 도입하여, 전체 데이터셋의 7,300시간 대비 1,000시간의 레이블 데이터만으로도 높은 성능의 적응을 가능하게 한다.
• 동기적 SGD와 모델 평균화, 블록단위 모델 업데이트 필터(BMUF)를 결합하여 다중 GPU 환경에서 선형적 속도 향상과 최소한의 정확도 저하를 달성한다.
• 프레임 스택킹을 활용하여 단일 입력에서 다중 프레임의 맥락을 제공함으로써 학습 및 디코딩 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 계층별 사전 학습과 EMA를 조합한 새로운 학습 프레임워크를 통해 7층을 초월하는 깊은 LSTM 모델(예: 9층)을 LVCSR에 성공적으로 학습시킬 수 있는가?
• RQ2 매우 깊은 LSTM 모델(예: 9층)에서 얕은 모델(예: 2층)으로 지식 정복을 수행할 때, 정확도 손실 없이 얼마나 많은 지식을 전달할 수 있는가?
• RQ3 sMBR 손실을 활용한 전이학습 전략이 전체 데이터셋의 작은 비율(예: 14%)으로도 전체 데이터셋 학습과 유사한 성능을 달성할 수 있는가?
• RQ4 EMA, 계층별 사전 학습, 지식 정복의 조합이 스트리밍 음성 인식에서 실시간 요인(RTF)과 문자오류률(CER)에 어떤 영향을 미치는가?
• RQ5 sMBR를 통한 순서 기반 판별적 학습이 표준 교차엔트로피(CE) 학습 대비 깊은 모델과 정복된 모델 모두에서 CER 감소에 어떤 영향을 미치는가?

주요 결과

• 계층별 사전 학습과 sMBR를 적용한 9층 단방향 LSTM 모델은 문자오류률(CER)이 2.49%로 기존 표준 학습 방식보다 뚜렷한 향상을 보였다.
• 9층 모델에서 2층 모델로 지식 정복을 수행함으로써 RTF는 53% 감소하였고, CER는 오직 5% 증가에 그쳐 실시간 스트리밍 인식에 적합한 정확도를 유지했다.
• 정복된 2층 모델은 교차엔트로피 손실로 처음부터 학습한 2층 모델 대비 상대적 CER을 14% 감소시켰으며, 효과적인 지식 전달을 입증했다.
• 사전 학습된 Shenma 모델에서 시작하여 Amap 전용 데이터 1,000시간만으로도 sMBR 기반 전이학습이 전체 데이터셋(7,300시간) 학습보다 뛰어난 성능을 보였다. CER는 6.26%로 전체 학습의 6.81%보다 낮았다.
• 계층별 사전 학습과 EMA의 조합은 특히 더 깊은 네트워크에서 학습 안정성과 수렴성을 크게 향상시켰으며, 모든 깊이에서 Xavier 초기화보다 뛰어난 성능을 보였다.
• 계층별 학습을 통해 3층을 추가한 경우, 상대적 CER를 12.6% 감소시켜 깊이를 적절한 학습 전략과 함께 활용할 경우 효과적임을 입증했다.