[논문 리뷰] Deep Recurrent Neural Networks for Acoustic Modelling

William Chan, Ian Lane|arXiv (Cornell University)|2015. 04. 07.

Speech Recognition and Synthesis참고 문헌 9인용 수 31

한 줄 요약

이 논문은 음성 인식의 음향 모델링을 위한 TC-DNN-BLSTM-DNN 모델을 제안한다. 이 모델은 시간 컨볼루션 DNN를 통해 특징 처리를 하고, 양방향 LSTM를 통해 맥락 모델링을 하며, 최종적으로 DNN를 통해 후행 확률 추정을 수행한다. 이 모델은 WSJ eval92 작업에서 3.47%의 WER를 달성하여 기준 DNN 모델 대비 약 8%의 상대적 향상을 보였다.

ABSTRACT

We present a novel deep Recurrent Neural Network (RNN) model for acoustic modelling in Automatic Speech Recognition (ASR). We term our contribution as a TC-DNN-BLSTM-DNN model, the model combines a Deep Neural Network (DNN) with Time Convolution (TC), followed by a Bidirectional Long Short-Term Memory (BLSTM), and a final DNN. The first DNN acts as a feature processor to our model, the BLSTM then generates a context from the sequence acoustic signal, and the final DNN takes the context and models the posterior probabilities of the acoustic states. We achieve a 3.47 WER on the Wall Street Journal (WSJ) eval92 task or more than 8% relative improvement over the baseline DNN models.

연구 동기 및 목표

• 표준 DNN보다 더 긴 시간적 의존성을 잘 포착할 수 있는 깊이 있는 순환 아키텍처를 활용하여 음성 인식의 음향 모델링을 향상시키는 것.
• CNN이 장기적인 시간 패턴을 모델링하는 데 한계가 있음을 고려하여, 양방향 LSTM 유닛을 갖춘 순환 아키텍처를 도입함으로써 이를 해결하는 것.
• 비선형 특징 변환, 순차적 맥락 학습, 후행 확률 추정을 하나의 종단 간 훈련 가능한 프레임워크 안에서 통합하는 모델을 설계하는 것.
• 시간 컨볼루션과 더 깊은 네트워크 아키텍처가 WSJ 코퍼스에서 WER 향상에 기여하는지 평가하는 것.

제안 방법

• 모델은 고정 길이의 컨텍스트 윈도우에 대한 fMLLR 특징을 처리하기 위해 시간 컨볼루션(TC) 레이어를 사용하여 국소적인 시간적 구조 표현을 향상시킨다.
• 깊이 있는 DNN(TC-DNN)는 원시 음향 특징을 비선형 변환을 통해 더 높은 차원의 공간으로 매핑하는 특징 처리기 역할을 한다.
• 양방향 LSTM(BLSTM) 레이어는 변환된 특징을 정방향과 역방향 모두에서 처리하여 포괄적인 시간적 맥락을 포착한다.
• 최종 DNN 레이어는 BLSTM 출력을 연결하여 얻은 특징을 기반으로 음소 분류를 위한 음향 상태의 후행 확률을 추정한다.
• 수렴 속도를 높이기 위해 다수의 GPU를 활용한 비동기적 확률적 경사 하강법(ASGD)을 사용해 모델을 훈련한다.
• 사전 훈련에 의존하지 않고 소프트맥스 교차 엔트로피 손실을 최적화하여 종단 간으로 최적화된 아키텍처를 구현한다.

실험 결과

연구 질문

• RQ1 시간 컨볼루션과 양방향 LSTMs를 갖춘 깊이 있는 RNN 아키텍처가 음성 인식의 음향 모델링에서 표준 DNN보다 우월한가?
• RQ2 BLSTM 이전에 비선형 특징 처리 단계(TC-DNN)를 도입함으로써 LSTM에 직접 입력하는 것보다 성능 향상이 이루어지는가?
• RQ3 시간 컨볼루션의 통합이 음성 신호의 장기적 시간 의존성 학습에 어떤 영향을 미치는가?
• RQ4 분산 비동기 SGD 훈련이 표준 SGD와 유사한 WER 성능을 달성하면서도 훈련 시간을 단축시킬 수 있는가?

주요 결과

• TC-DNN-BLSTM-DNN 모델은 WSJ eval92 테스트 세트에서 3.47%의 WER를 달성하여 기준 DNN 모델 대비 8% 상대적 향상을 보였다.
• 시간 컨볼루션을 포함한 모델은 시간 컨볼루션 없이 3.76%였던 WER를 3.47%로 낮추어 더 풍부한 입력 표현의 중요성을 입증했다.
• 시간 컨볼루션 없이 DNN-BLSTM-DNN 버전을 사용한 경우 WER는 3.76%였으며, 128셀 BLSTM 모델 대비 28% 상대적 향상을 보였다.
• 분산 비동기 SGD 훈련을 사용함으로써 훈련 시간을 51.5시간(SGD)에서 16.8시간(ASGD)으로 단축시켰지만, 평가 WER는 약간 증가하여 3.72%로 올라갔다.
• DBN을 사용한 사전 훈련은 성능 향상에 크게 기여하지 않았으며, 사전 훈련 없이 ReLU 기반 DNN를 사용한 경우 WER는 3.79%로 사전 훈련 버전(3.81%)과 거의 유사한 성능을 보였다.
• 제거 실험 결과, 시간 컨볼루션, DNN 특징 처리, BLSTM 맥락 모델링, 최종 DNN 등 모든 구성 요소가 최종 성능 향상에 핵심적으로 기여하는 것으로 확인되었다.