[논문 리뷰] Speech Recognition with Deep Recurrent Neural Networks

Alex Graves, Abdelrahman Mohamed외 1명|arXiv (Cornell University)|2013. 03. 22.

Speech Recognition and Synthesis참고 문헌 21인용 수 10

한 줄 요약

이 논문은 연결주의 시계열 분류(CTC)와 가중치 노이즈 정규화를 통해 엔드 투 엔드로 훈련된 딥 양방향 Long Short-Term Memory (LSTM) 순환 신경망을 소개하며, TIMIT 벤치마크에서 17.7%의 문자 오류율을 달성하여 기존 RNN 및 피드포워드 방법보다 시간적·공간적 깊이가 말초 음성 인식 성능을 크게 향상시킴을 보여준다.

ABSTRACT

Recurrent neural networks (RNNs) are a powerful model for sequential data. End-to-end training methods such as Connectionist Temporal Classification make it possible to train RNNs for sequence labelling problems where the input-output alignment is unknown. The combination of these methods with the Long Short-term Memory RNN architecture has proved particularly fruitful, delivering state-of-the-art results in cursive handwriting recognition. However RNN performance in speech recognition has so far been disappointing, with better results returned by deep feedforward networks. This paper investigates \emph{deep recurrent neural networks}, which combine the multiple levels of representation that have proved so effective in deep networks with the flexible use of long range context that empowers RNNs. When trained end-to-end with suitable regularisation, we find that deep Long Short-term Memory RNNs achieve a test set error of 17.7% on the TIMIT phoneme recognition benchmark, which to our knowledge is the best recorded score.

연구 동기 및 목표

• 깊이 있는 순환 신경망(다중 스택된 LSTM 레이어 포함)이 기존 표준 RNN 및 피드포워드 네트워크를 초월해 음성 인식 성능을 향상시킬 수 있는지 조사하기.
• 연결주의 시계열 분류(CTC) 및 Transducer 프레임워크를 통한 순서 기반 레이블링의 효율성을 음성 인식에서 평가하기.
• 양방향 컨텍스트, 네트워크 아키텍처의 깊이, 가중치 노이즈와 같은 정규화 기법이 문자 인식 정확도에 미치는 영향 평가하기.
• 깊은 LSTM이 음성 인식 작업에서 얕은 또는 비순환적인 깊은 네트워크를 능가할 수 있는지 판단하기.

제안 방법

• 시간과 깊이에 걸쳐 계층적 표현 학습이 가능한 다중 순환 레이어를 스택하여 딥 양방향 Long Short-Term Memory (LSTM) 네트워크를 제안한다.
• 강제 정렬 없이 가변 길이 입력-출력 정렬을 처리하기 위해 연결주의 시계열 분류(CTC)를 통한 엔드 투 엔드 훈련을 구현한다.
• 학습 시퀀스당 한 번 적용되는 가중치 노이즈 정규화를 도입하여 간소화된 표현을 학습함으로써 일반화 성능을 향상시킨다.
• 입력 시퀀스를 정방향과 역방향으로 처리함으로써 과거와 미래 컨텍스트를 모두 접근할 수 있도록 양방향 LSTM(BLSTM)을 사용한다.
• 강력한 순서 예측을 보장하기 위해 추론 시 백트래킹 검색 기반의 빔 서치를 사용하며, 빔 폭은 100으로 설정한다.
• 두 단계 훈련 전략을 적용: 먼저 노이즈 없이 훈련한 후, 개선된 개발 세트 오류율을 최소화하기 위해 정규 분포 가중치 노이즈(σ = 0.075)를 적용해 미세조정한다.

실험 결과

연구 질문

• RQ1 시간적 깊이 외에 공간적 깊이(스택된 순환 레이어 수)를 증가시키면 표준 RNN보다 음성 인식 성능이 크게 향상되는가?
• RQ2 CTC 또는 Transducer를 통한 엔드 투 엔드 훈련과 결합된 양방향 LSTM이 단방향 또는 비순환적인 깊은 네트워크보다 음성 인식 벤치마크에서 우월한 성능을 내는가?
• RQ3 가중치 노이즈를 통한 정규화가 음성 인식에서 딥 LSTM 모델의 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 층의 깊이를 늘리는 것과 각 레이어의 은닉 유닛 수를 늘리는 것 중 어느 것이 성능 향상에 더 큰 기여를 하는가?
• RQ5 Transducer를 통한 동시 음성 및 언어 모델링이 깊이 있는 양방향 LSTM과 결합될 경우 성능 향상이 추가로 이루어지는가?

주요 결과

• CTC와 가중치 노이즈를 적용한 딥 양방향 LSTM(PreTrans-3l-250h)은 TIMIT 코어 테스트 세트에서 17.7%의 문자 오류율(PER)을 기록하여 당시까지 보고된 바에서 가장 우수한 성능을 달성했다.
• 레이어 수를 1에서 5로 늘임으로써 CTC 오류율이 23.9%에서 18.4%로 감소하여 공간적 깊이가 레이어 너비 증가보다 더 큰 영향을 미친다.
• LSTM 셀은 표준 tanh 유닛보다 큰 성능 향상을 보였으며, CTC-3l-500h-tanh(tanh)는 37.6%의 PER를 기록한 반면 CTC-3l-250h(LSTM)는 18.6%의 PER 기록했다.
• 양방향 LSTM은 단방향 LSTM보다 약간이지만 일관된 성능 우위를 보였으며, CTC-3l-421h-uni(단방향)는 19.6%의 PER를 기록한 반면 그 양방향 대응 모델은 18.6%의 PER 기록했다.
• 별도의 문자 예측 네트워크를 통해 Transducer 모델을 미리 훈련함으로써 성능이 18.3%(Trans-3l-250h)에서 17.7%(PreTrans-3l-250h)로 향상되었으며, 이는 동시 모델링의 유용성을 보여준다.
• 입력 민감도 분석 결과, 출력 예측은 여러 문자에 걸친 컨텍스트에 의존함을 확인하여, CTC 네트워크가 음성 데이터만으로 암묵적인 언어적 의존성을 학습함을 시사한다.