[논문 리뷰] End-to-end Continuous Speech Recognition using Attention-based Recurrent NN: First Results

Jan Chorowski, Dzmitry Bahdanau외 2명|arXiv (Cornell University)|2014. 12. 04.

Speech Recognition and Synthesis참고 문헌 23인용 수 415

한 줄 요약

이 논문은 프레임 수준의 정렬을 명시적으로 사용하지 않고, 어텐션 기반 양방향 RNN 인코더와 디코더를 사용하여 엔드 투 엔드 연속 음성 인식 모델을 제안한다. TIMIT에서 18.57%의 음소 오류율을 기록하며, 기존 최고 성능의 HMM 기반 시스템과 유사한 성능을 내며, 탐색 전략에 관계없이 뛰어난 성능을 보인다.

ABSTRACT

We replace the Hidden Markov Model (HMM) which is traditionally used in in continuous speech recognition with a bi-directional recurrent neural network encoder coupled to a recurrent neural network decoder that directly emits a stream of phonemes. The alignment between the input and output sequences is established using an attention mechanism: the decoder emits each symbol based on a context created with a subset of input symbols elected by the attention mechanism. We report initial results demonstrating that this new approach achieves phoneme error rates that are comparable to the state-of-the-art HMM-based decoders, on the TIMIT dataset.

연구 동기 및 목표

• 기존 HMM 기반 모델에서 사용하는 프레임 수준의 정렬을 명시적으로 필요로 하지 않는 엔드 투 엔드 음성 인식 시스템을 개발하는 것.
• RNN 인코더-디코더 프레임워크 내에서 어 attention 메커니즘이 연속 음성의 입력-출력 정렬을 효과적으로 학습할 수 있는지 조사하는 것.
• 강제 정렬 또는 하이브리드 HMM-DNN 학습을 사용하지 않고 TIMIT 음소 인식 벤치마크에서 어 attention 기반 RNN 모델의 성능을 평가하는 것.
• 모델이 디코딩 전략에 대해 강건하며, 특히 탐색 전략에 민감도가 낮고, 쉽게 구현하고 튜닝할 수 있음을 보여주는 것.

제안 방법

• 전체 입력 음성 시퀀스를 처리하고 맥락 인식 히든 상태를 생성하기 위해 양방향 RNN 인코더를 사용한다.
• 각 출력 음소를 하나씩 생성하며, 인코더 상태에 대한 어텐션을 통해 유도된 컨텍스트 벡터에 조건화된 단방향 RNN 디코더를 사용한다.
• 디코더 상태와 각 인코더 상태 간의 호환성 점수를 기반으로 인코더 히든 상태의 가중치 합을 계산하는 어텐션 메커니즘을 적용한다.
• 컨텍스트 벡터를 모든 인코더 상태의 가중 평균으로 계산하는 소프트 어텐션 메커니즘을 사용하며, 가중치는 호환성 함수에 의해 결정된다.
• 기울기 노름의 이동 평균을 사용해 동적으로 스케일링을 조정하는 적응형 임계값을 통한 기울기 재스케일링을 구현하여 학습을 안정화시킨다.
• 좁은 비드 폭(예: 10)을 사용한 비드 서치 디코딩을 구현하여 GTX480 GPU에서 실시간 인식 요건을 충족하는 실시간 요건을 달성한다.

실험 결과

연구 질문

• RQ1 어 attention 기반 RNN 인코더-디코더 모델이 명시적인 프레임 수준의 정렬 없이도 경쟁 가능한 음소 인식 성능을 달성할 수 있는가?
• RQ2 제안된 엔드 투 엔드 모델의 성능은 TIMIT 데이터셋에서 최고 수준의 HMM 기반 하이브리드 시스템과 비교해 어떻게 되는가?
• RQ3 비드 서치 대신 탐색 전략을 사용할 경우 모델의 성능가 유지되는가?
• RQ4 HMM-DNN 시스템에서 흔히 사용되는 복잡한 다단계 학습 절차 없이도 모델을 효율적으로 학습하고 튜닝할 수 있는가?
• RQ5 일시적인 정지와 같은 음성 불규칙성이 존재할 경우, 어 attention 메커니즘이 각 출력 음소에 대해 관련 있는 입력 프레임을 효과적으로 식별할 수 있는가?

주요 결과

• 모델은 TIMIT 테스트 세트에서 18.57%의 음소 오류율을 기록하며, 최고 수준의 HMM 기반 시스템과 유사한 성능을 보였다.
• 비드 서치와 마찬가지로 탐색 전략에 관계없이 거의 동일한 성능을 기록하여, 모델이 높은 강건성과 낮은 디코딩 전략 민감도를 가짐을 시사한다.
• 실시간 디코딩이 가능하며, GTX480 GPU에서 비드 폭 10을 사용할 경우 실시간 요건을 충족하는 실시간 요건을 달성했다.
• 모델는 최소한의 튜닝만으로도 구현 및 학습이 가능했으며, 한 달 이내에 완료되어 구현 용이성을 입증했다.
• 어 attention 메커니즘이 입력-출력 거리의 예상치를 학습함으로써 유사한 입력 프레임을 구분하고 정렬 정확도를 향상시키는 데 기여했다.
• 적응형 임계값을 통한 기울기 재스케일링이 특히 후기 학습 단계에서 학습 안정성을 크게 향상시켰다.