[논문 리뷰] Attentive batch normalization for lstm-based acoustic modeling of speech recognition

Fenglin Ding, Wu Guo외 2명|arXiv (Cornell University)|2020. 01. 01.

Speech Recognition and Synthesis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 자동 음성 인식(A SR)에서 LSTM 기반 음성 모델을 위한 향상된 배치 정규화 기법인 주의 집중 배치 정규화(ABN)를 제안한다. 주의 메커니즘을 활용한 보조 네트워크를 통해 동적으로 배치 정규화 파라미터를 생성함으로써, ABN은 훈련 안정성과 인식 정확도를 향상시키며, 표준 배치 정규화에 비해 중국어 및 우이그르어 ASR 작업에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Batch normalization (BN) is an effective method to accelerate model training and improve the generalization performance of neural networks. In this paper, we propose an improved batch normalization technique called attentive batch normalization (ABN) in Long Short Term Memory (LSTM) based acoustic modeling for automatic speech recognition (ASR). In the proposed method, an auxiliary network is used to dynamically generate the scaling and shifting parameters in batch normalization, and attention mechanisms are introduced to improve their regularized performance. Furthermore, two schemes, frame-level and utterance-level ABN, are investigated. We evaluate our proposed methods on Mandarin and Uyghur ASR tasks, respectively. The experimental results show that the proposed ABN greatly improves the performance of batch normalization in terms of transcription accuracy for both languages.

연구 동기 및 목표

• 음성 인식을 위한 LSTM 기반 음성 모델에서 표준 배치 정규화의 한계를 해결하기 위해.
• 저자원 및 복잡한 음성 인식 환경에서 모델 일반화 능력 향상과 훈련 수렴성 향상을 위해.
• 보조 네트워크와 주의 메커니즘을 활용한 배치 정규화의 동적 파라미터 적응을 탐색하기 위해.
• 다양한 언어 ASR 작업에서 프레임 수준 및 발화 수준 ABN 방식의 효과를 평가하기 위해.

제안 방법

• 주목적 기반으로 배치 정규화의 스케일링 및 시프팅 파라미터를 예측하기 위해 보조 네트워크를 도입한다.
• 정규화 파라미터를 생성할 때 관련된 맥락 특징에 집중하기 위해 주의 메커니즘을 적용함으로써 정규화 효과를 향상시킨다.
• 두 가지 변형을 제안한다: 프레임 수준 ABN은 각 타임스텝 별로 파라미터를 계산하고, 발화 수준 ABN은 전체 시퀀스에 걸친 전역 맥락을 사용한다.
• 주의 모듈은 LSTM의 은닉 상태를 대상으로 하여 동적으로 적응형 배치 정규화 파라미터를 정보 제공한다.
• 구조적 개편 없이 표준 LSTM 음성 모델에 통합되어 즉시 사용 가능한 개선 효과를 제공한다.
• 보조 네트워크는 역전파를 사용하여 메인 ASR 모델과 함께 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 LSTM 기반 음성 모델의 배치 정규화 적응성과 성능 향상에 기여할 수 있는가?
• RQ2 프레임 수준 및 발화 수준 ABN 방식은 인식 정확도와 훈련 안정성 측면에서 어떻게 비교되는가?
• RQ3 ABN은 저자원 및 고자원 음성 인식 작업 전반에서 일관된 성능 향상을 이끌 수 있는가?
• RQ4 보조 네트워크를 통한 동적 파라미터 생성이 고정된 배치 정규화 통계보다 우월한가?

주요 결과

• ABN은 중국어 ASR에서 전사 정확도를 뚜렷이 향상시켜 표준 배치 정규화를 능가한다.
• 제안된 방법은 우이그르어 ASR에서 뚜렷한 성능 향상을 이룩하여 저자원 환경에서의 효과성을 입증한다.
• 프레임 수준 및 발화 수준 ABN 모두 모델 성능 향상을 이끌지만, 발화 수준는 더 강력한 정규화 효과를 보였다.
• 주의 기반 보조 네트워크는 더 견고하고 맥락 인식 능력 있는 정규화 파라미터 생성을 가능하게 한다.
• 제거 실험 결과 주의 메커니즘과 동적 파라미터 생성이 성능 향상의 핵심 기여 요소임을 확인했다.