[논문 리뷰] First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs

Awni Hannun, Andrew L. Maas외 2명|arXiv (Cornell University)|2014. 08. 12.

Speech Recognition and Synthesis참고 문헌 8인용 수 156

한 줄 요약

이 논문은 연결적 시간 분류(CTC) 손실을 사용하는 이방향 순환 깊은 신경망(BRDNN)을 활용한 최초의 대규모 어휘 연속 음성 인식 시스템을 제시한다. 이는 HMM 기반 라티스 생성에 의존하지 않고 언어 모델을 통합한 엔드 투 엔드 디코딩을 가능하게 한다. 이 방법은 단지 신경망과 n-gram 언어 모델을 사용함으로써 월 스트리트 저널(Wall Street Journal) 코퍼스에서 14.1%의 경쟁적인 단어 오류율(WER)을 달성하며, 이는 양방향 순환 구조가 단방향 또는 비순환 모델보다 성능을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

We present a method to perform first-pass large vocabulary continuous speech recognition using only a neural network and language model. Deep neural network acoustic models are now commonplace in HMM-based speech recognition systems, but building such systems is a complex, domain-specific task. Recent work demonstrated the feasibility of discarding the HMM sequence modeling framework by directly predicting transcript text from audio. This paper extends this approach in two ways. First, we demonstrate that a straightforward recurrent neural network architecture can achieve a high level of accuracy. Second, we propose and evaluate a modified prefix-search decoding algorithm. This approach to decoding enables first-pass speech recognition with a language model, completely unaided by the cumbersome infrastructure of HMM-based systems. Experiments on the Wall Street Journal corpus demonstrate fairly competitive word error rates, and the importance of bi-directional network recurrence.

연구 동기 및 목표

• 대규모 어휘 연속 음성 인식(LVCSR)에서 전통적으로 사용되는 복잡한 HMM 기반 인fra구조를 회피하는 첫 번째 단계 음성 인식 시스템을 개발하는 것.
• 특히 이방향 RNN이 아닌 이방향 RNN이 CTC 기반 엔드 투 엔드 음성 인식에서 시퀀스 모델링에 기여하는지 평가하는 것.
• 언어 모델을 CTC 트레이닝된 신경망과 직접 통합할 수 있는 수정된 프리픽스-서치 디코딩 알고리즘을 설계하고 구현하여, 처음부터 전체 디코딩을 수행할 수 있도록 하는 것.
• n-best 가설 목록이나 HMM 기반 재평가에 의존하지 않고도 경쟁적인 단어 오류율을 달성할 수 있음을 입증하는 것.

제안 방법

• 시스템은 음성 특징의 시간적 의존성을 모델링하기 위해 이방향 순환 깊은 신경망(BRDNN)을 사용하며, 기울기 소실 문제를 완화하기 위해 정수형 비선형성을 적용한다.
• 네트워크는 연결적 시간 분류(CTC) 손실 함수를 사용해 트레이닝되며, 이는 입력 오디오와 가능한 모든 정렬에 대해 정확한 전사 시퀀스의 가능도를 최대화한다.
• HMM 시스템에서 라티스를 생성하지 않고도 첫 번째 단계 추론이 가능한, 언어 모델을 디코딩 과정에 직접 통합한 수정된 프리픽스-서치 디코딩 알고리즘을 제안한다.
• 디코딩 과정은 사전 제약 조건과 이항 언어 모델을 사용해 가능한 단어 시퀀스에 대한 탐색을 안내하며, 이는 단어 수준의 정확도를 향상시킨다.
• 모델은 문자 수준의 전사와 음성 특징을 사용해 월 스트리트 저널(WSJ) 코퍼스에서 트레이닝 및 평가된다.
• 비순환 DNN, 단방향 RNN(RDNN), 이방향 RNN(BRDNN) 모델 간 성능을 비교하며, 아키텍처의 영향을 분리하기 위해 파라미터 수를 통제한다.

실험 결과

연구 질문

• RQ1 HMM 기반 라티스 생성에 의존하지 않고도 단지 신경망과 언어 모델만을 사용하는 첫 번째 단계 음성 인식 시스템이 경쟁적인 단어 오류율을 달성할 수 있는가?
• RQ2 CTC 트레이닝된 신경망에서 이방향 순환 연결을 사용할 경우, 단방향 또는 비순환 아키텍처에 비해 문자 오류율과 단어 오류율에 유의미한 향상이 이루어지는가?
• RQ3 수정된 프리픽스-서치 디코딩 알고리즘이 언어 모델 사전 지식을 CTC 디코딩 과정에 효과적으로 통합하여 단어 수준의 정확도를 향상시킬 수 있는가?
• RQ4 이방향 순환 연결의 성능 향상이 저지연, 온라인 음성 인식 시스템에 적용할 가치가 충분한가?
• RQ5 밀접하게 연결된 구조와 ReLU 활성화 함수를 갖는 더 단순한 순환 깊은 신경망(RDNN) 아키텍처가 CTC 기반 음성 인식에서 더 복잡한 LSTM 기반 모델과 유사한 성능을 내는가?

주요 결과

• BRDNN 모델은 테스트 세트에서 문자 오류율(CER) 10.7%를 기록했으며, 비순환 DNN(22.3%)와 단방향 RNN(13.5%)보다 유의미하게 뛰어나, 이방향 맥락의 중요성을 입증한다.
• 이항 언어 모델을 사용할 경우, WSJ 코퍼스에서 단어 오류율(WER)이 14.1%로 측정되었으며, 이는 첫 번째 단계 디코딩과 언어 모델 통합이 가능하고 효과적이라는 것을 보여준다.
• 언어 모델을 사용함으로써 WER는 기준선(35.8% → 14.1%)에서 10.7% 포인트 감소했으며, 이는 단어 수준 정확도에서 언어 사전 지식의 핵심적 역할을 강조한다.
• 비록 파라미터 수가 더 적은(20.9M) 것으로, 단방향 RNN(22.0M)보다도 성능이 뛰어나, 아키텍처 설계가 파라미터 수만으로는 설명되지 않는 성능 향상을 이끌 수 있음을 시사한다.
• 언어 모델 없이 CER가 10.0%였지만, 이항 언어 모델을 적용하면 CER가 5.7%로 감소하여, 단어 수준 제약 조건이 적용될 경우 문자 수준 정확도가 크게 향상됨을 보여준다.
• 결과적으로, 비순환 및 단방향 모델에 비해 성능이 현저히 열등하므로, 고성능을 위해서는 순환 연결, 특히 이방향 연결이 필수적임을 시사한다.