[논문 리뷰] Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition

Xiangang Li, Xihong Wu|arXiv (Cornell University)|2016. 10. 11.

Speech Recognition and Synthesis참고 문헌 30인용 수 5

한 줄 요약

이 논문은 주파수 축을 따라 복소수 연산을 결합하고 시간 축을 따라 순환적 LSTM 처리를 수행함으로써 대규모 어휘 말자료 인식 성능을 햖스키는 LSTM 기반의 복합 순환 신경망(LSTM-CRNN)을 제안한다. 이 모델은 강력한 LSTM 기반 모델 대비 7.1% 상대적인 단어 오류률 감소를 달성하여 대규모 대화형 전화 음성 인식 작업에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Long short-term memory (LSTM) recurrent neural networks (RNNs) have been shown to give state-of-the-art performance on many speech recognition tasks, as they are able to provide the learned dynamically changing contextual window of all sequence history. On the other hand, the convolutional neural networks (CNNs) have brought significant improvements to deep feed-forward neural networks (FFNNs), as they are able to better reduce spectral variation in the input signal. In this paper, a network architecture called as convolutional recurrent neural network (CRNN) is proposed by combining the CNN and LSTM RNN. In the proposed CRNNs, each speech frame, without adjacent context frames, is organized as a number of local feature patches along the frequency axis, and then a LSTM network is performed on each feature patch along the time axis. We train and compare FFNNs, LSTM RNNs and the proposed LSTM CRNNs at various number of configurations. Experimental results show that the LSTM CRNNs can exceed state-of-the-art speech recognition performance.

연구 동기 및 목표

• 음성 신호의 시간적 및 주파수적 변동성을 다루는 데에 고정된 컨텍스트 창 모델의 한계를 해결하기 위해.
• CNN의 주파수 불변성과 LSTM RNN의 동적 컨텍스트 학습 능력을 통합하여 음성 모델링을 향상시키기 위해.
• 복소수 및 순환적 아키텍처를 조합함으로써 독립적인 DNN, LSTM RNN 또는 CNN보다 대규모 어휘 음성 인식에서 더 나은 성능을 낼 수 있는지 탐색하기 위해.
• 최적화 기법, 예를 들어 풀링, 투영층, 깊은 스택 구조 등의 아키텍처 구성 요소가 인식 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 각 음성 프레임은 주파수 축을 따라 국소적인 특징 패치로 분할되어 국소적인 스펙트럼 처리를 가능하게 한다.
• 일방향 LSTM이 시간 축을 따라 각 주파수 패치에 독립적으로 적용되어 동적 컨텍스트를 활용한 시간적 의존성 모델링을 수행한다.
• 기존의 표준 복소수 필터 대신 LSTM 기반 필터를 도입함으로써, 각 주파수 패치에 대해 적응형 시간 컨텍스트를 학습할 수 있도록 한다.
• 비선형성을 위해 3개의 ReLU 레이어를 사용하고, 파라미터 수를 줄이며 일반화 성능을 향상시키기 위해 풀링 레이어(크기 3)를 적용한다.
• 파라미터 수를 줄이기 위해 투영 헤드를 갖춘 CLSTM 및 CLSTMP 레이어의 다중 스택 구성 등 다양한 설정을 테스트한다.
• 순차적 결정 기반 학습은 향후 연구 과제로 고려되나, 본 연구에서는 적용하지는 않았다.

실험 결과

연구 질문

• RQ1 하이브리드 아키텍처에서 CNN과 LSTM RNN을 조합함으로써 독립적인 DNN 또는 LSTM RNN 대비 대규모 어휘 음성 인식 성능 향상이 가능할까?
• RQ2 주파수 도메인의 복소수 처리와 시간 도메인의 순환 처리를 통합할 경우, 스펙트럼 및 시간적 변동성의 모델링에 어떤 영향을 미칠까?
• RQ3 풀링, 투영층, 깊은 스택과 같은 아키텍처 선택 사항이 정확도 및 파라미터 효율성에 어떤 영향을 미칠까?
• RQ4 제안된 CRNN 아키텍처가 대규모 음성 인식 작업에서 최신 기술 수준의 LSTM 기반 시스템보다 더 나은 성능을 내는가?

주요 결과

• 제안된 LSTM-CRNN 모델은 강력한 LSTM 기반 기준 모델 대비 7.1% 상대적인 단어 오류률(WER) 감소를 달성한다.
• 가장 뛰어난 성능을 보인 설정은 CLSTMP 레이어 다음에 두 번째 LSTMP 레이어를 사용하여 테스트 세트에서 CER 31.43%를 기록한다.
• LSTM 뉴런 수를 256에서 384로 늘임으로써 CER가 34.81%에서 34.12%로 감소하여, 더 큰 용량에서의 성능 향상이 있음을 시사한다.
• CLSTMP 네트워크에서 투영층을 사용함으로써 성능 저하 없이 파라미터 수를 줄일 수 있었고, 이는 더 효율적인 모델을 가능하게 했다.
• 두 개의 복소수 순환 레이어를 스택함으로써 단일 레이어 모델 대비 3.8% 상대적인 WER 향상이 이루어졌다.
• 512개의 LSTM 뉴런과 256차원의 투영층을 갖춘 모델(CLstm512P256)는 CER 34.03%를 기록하여 용량 증가에 따라 계속 성능 향상이 이루어짐을 보여주었다.