[논문 리뷰] Attention-Based Models for Speech Recognition

Jan Chorowski, Dzmitry Bahdanau외 3명|arXiv (Cornell University)|2015. 06. 24.

Multimodal Machine Learning Applications참고 문헌 31인용 수 1,780

한 줄 요약

이 논문은 위치 인지형 컨볼루션 특징과 정규화된 어텐션 메커니즘을 통해 어텐션을 향상시킨 어텐션 기반 순환 시퀀스 생성기 모델을 제안한다. 이 모델은 TIMIT에서 17.6%의 음소 오류율을 달성하며, 훈련 데이터보다 11배 길어도 11배 길어진 음성 입력에 대해 우수한 일반화 성능을 보이며, 위치 추적 포화 현상으로 인해 장수신호에서 실패하는 기준 모델에 비해 뛰어난 성능을 발휘한다.

ABSTRACT

Recurrent sequence generators conditioned on input data through an attention mechanism have recently shown very good performance on a range of tasks in- cluding machine translation, handwriting synthesis and image caption gen- eration. We extend the attention-mechanism with features needed for speech recognition. We show that while an adaptation of the model used for machine translation in reaches a competitive 18.7% phoneme error rate (PER) on the TIMIT phoneme recognition task, it can only be applied to utterances which are roughly as long as the ones it was trained on. We offer a qualitative explanation of this failure and propose a novel and generic method of adding location-awareness to the attention mechanism to alleviate this issue. The new method yields a model that is robust to long inputs and achieves 18% PER in single utterances and 20% in 10-times longer (repeated) utterances. Finally, we propose a change to the at- tention mechanism that prevents it from concentrating too much on single frames, which further reduces PER to 17.6% level.

연구 동기 및 목표

• 어텐션 기반 시퀀스 생성을 사용한 엔드 투 엔드 학습 가능한 음성 인식 모델을 개발한다.
• 표준 어텐션 메커니즘이 짧은 입력에서는 잘 작동하지만 장수신호 입력에서는 암묵적인 위치 추적로 인해 실패하는 문제를 해결한다.
• 위치 인지형 어텐션과 어울림 부드럽힘 기법을 도입하여 장수신호 및 노이즈가 많은 입력에 대한 강건성을 향상시킨다.
• 정규화된 어텐션 메커니즘을 통해 특정 프레임에 대한 과도한 집중을 방지한다.
• 표준 및 인위적으로 연장된 음성 입력을 포함한 TIMIT 음소 인식 벤치마크에서 모델 성능을 평가한다.

제안 방법

• 내용 기반 어텐션과 훈련 가능한 필터를 사용해 이전 어텐션 가중치를 컨볼루션하여 유도한 위치 인지형 특징을 조합한 하이브리드 어텐션 메커니즘을 도입한다.
• 이전 어울림 벡터에 1D 컨볼루션 필터를 적용하여 위치적 맥락을 인코딩한 보조 특징을 생성한다.
• 소프트플러스 활성화를 적용한 도트곱을 사용한 정규화된 어텐션 메커니즘을 구현하여 특정 프레임에 대한 과도한 집중을 방지한다.
• 디코딩 중 강제 어울림 품질을 향상시키기 위해 윈도잉과 온도 스케일링과 같은 어울림 날카움 기법을 적용한다.
• 음소 시퀀스에 대한 크로스 엔트로피 손실을 사용하여 백프로파게이션 스루 타임(Backpropagation through time)을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 일반화 능력을 테스트하기 위해 원본 및 연결된(더 긴) 음성 입력을 포함한 TIMIT에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 장수신호 입력에 대해 어텐션 기반 시퀀스 생성기가 효과적으로 적용될 수 있는가?
• RQ2 짧은 입력에서는 양호한 성능을 보이지만 장수신호 입력에서는 왜 표준 어텐션 메커니즘이 실패하는가?
• RQ3 위치 인지 기반 기법을 도입함으로써 어텐션 메커니즘을 장수신호에 대해 강건하게 만들 수 있는가?
• RQ4 특정 프레임에 대한 과도한 집중을 방지하기 위해 어텐션을 정규화하는 것이 인식 정확도를 향상시키는가?
• RQ5 제안된 어텐션 메커니즘은 훈련 중에 관찰한 것보다 훨씬 긴 시퀀스로 일반화될 수 있는가?

주요 결과

• 기준 모델은 표준 TIMIT 테스트 세트에서 18.7%의 음소 오류율(PER)을 기록했지만, 연결된 더 긴 음성 입력에서는 암묵적인 위치 추적로 인해 실패했다.
• 제안된 위치 인지형 어텐션 메커니즘은 단일 음성 입력에서 PER를 18.0%로 감소시켰고, 11배 길어진 입력에서도 PER가 20% 이하로 유지되었다.
• 정규화된 어텐션 메커니즘을 도입함으로써 특정 프레임에 대한 과도한 집중을 방지해 PER를 17.6%로 추가로 감소시켰다.
• 컨볼루션 기반 위치 특징을 갖춘 모델은 최대 200개의 음소까지 시퀀스를 성공적으로 어울렸지만, 기준 모델은 약 40개 음소 이후에 실패했다.
• 윈도잉과 온도 스케일링과 같은 어울림 날카움 기법은 특히 위치 인지형 모델에서 어울림 품질을 크게 향상시켰다.
• 위치 인지형 모델은 연결된 입력보다 반복된 입력에서 더 뛰어난 강건성을 보였으며, 다양한 입력에서 관련이 없는 프레임에 민감한 것으로 나타났다.