[논문 리뷰] Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition

Taesup Kim, Inchul Song외 1명|arXiv (Cornell University)|2017. 07. 19.

Speech Recognition and Synthesis참고 문헌 22인용 수 12

한 줄 요약

이 논문은 입력 음성 시퀀스에 기반해 스케일링 및 시프팅 파라미터를 동적으로 생성하는 새로운 적응형 정규화 기법인 동적 레이어 정규화(Dynamic Layer Normalization, DLN)를 제안한다. 이는 적응 데이터나 화자 신원 정보 없이도 신경 음성 모델이 화자 및 환경 변화에 적응할 수 있도록 하며, 고정된 모델 크기로도 성능 향상을 이룬다. TED-LIUM 코퍼스에서 DLN은 상대적으로 최대 10.7% 향상된 단어 오류율을 기록하여, 외부 지도 학습 없이도 효과적인 적응이 가능함을 입증한다.

ABSTRACT

Layer normalization is a recently introduced technique for normalizing the activities of neurons in deep neural networks to improve the training speed and stability. In this paper, we introduce a new layer normalization technique called Dynamic Layer Normalization (DLN) for adaptive neural acoustic modeling in speech recognition. By dynamically generating the scaling and shifting parameters in layer normalization, DLN adapts neural acoustic models to the acoustic variability arising from various factors such as speakers, channel noises, and environments. Unlike other adaptive acoustic models, our proposed approach does not require additional adaptation data or speaker information such as i-vectors. Moreover, the model size is fixed as it dynamically generates adaptation parameters. We apply our proposed DLN to deep bidirectional LSTM acoustic models and evaluate them on two benchmark datasets for large vocabulary ASR experiments: WSJ and TED-LIUM release 2. The experimental results show that our DLN improves neural acoustic models in terms of transcription accuracy by dynamically adapting to various speakers and environments.

연구 동기 및 목표

• 신규 화자나 환경에 적용되었을 때 신경 음성 모델의 음성 인식 정확도 저하 문제를 해결하기 위해.
• i-벡터와 같은 화자 임bedding이 필요로 하지 않는, 파rameter 효율적인 적응 방법을 개발하기 위해.
• 모델 크기를 고정한 채로 입력에 따라 동적으로 적응 가능한 정규화 파라미터를 실시간으로 생성함으로써, 고정된 크기의 모델 내에서 동적 적응을 가능하게 하기 위해.
• 다양한 음향 조건에서 대규모 어휘 음성 인식의 일반화 성능을 향상시키기 위해.

제안 방법

• 입력 문장의 요약 특징을 기반으로, 피드포워드 신경망을 사용해 레이어 정규화의 스케일링 및 시프팅 파라미터를 생성한다.
• 문장 요약 특징은 입력 시퀀스에서 유도되며, 이를 통해 각 레이어의 정규화 파라미터를 동적으로 조절한다.
• 파라미터 생성기 포함 전체 모델은 경사 하강법을 사용해 백프로파게이션을 통해 공동으로 학습된다.
• 레이어 정규화의 불변성을 유지하면서도, 동적 파라미터 생성을 통해 화자 및 환경에 민감한 적응을 도입한다.
• 화자별 전용 파라미터를 저장하지 않아 모델 확장을 방지하며, 고정된 모델 크기를 유지한다.
• 딥 양방향 LSTM 음성 모델에 적용되었으며, WSJ 및 TED-LIUM 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 적응 데이터가 없이도 레이어 정규화를 화자 및 환경 변화에 동적으로 적응시킬 수 있는가?
• RQ2 정규화 파라미터의 동적 생성이 다양한 화자와 환경에서 신경 음성 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법이 모델 크기를 늘리지 않으면서도 표준 레이어 정규화나 기준 모델보다 더 높은 성능을 달성할 수 있는가?
• RQ4 명시적인 화자 레이블 없이도 입력 시퀀스만으로 화자 관련 표현을 학습할 수 있는가?

주요 결과

• TED-LIUM 리lease 2 데이터셋에서 DLN은 기준 모델 대비 상대적으로 10.7% 향상된 단어 오류율을 기록했다.
• WSJ 코퍼스에서 DLN은 개발 세트에서 1.7% 향상된 프레임 오류율, 테스트 세트에서 1.8% 향상된 프레임 오류율을 기록했지만, WER 향상은 다소 뚜렷하지 않았다.
• t-SNE 시각화 결과, 첫 번째 레이어의 문장 요약 특징이 화자 신원에 해당하는 클러스터를 형성한 것으로 나타났다. 이는 화자 레이블이 없더라도 가능했다.
• 세 번째 레이어의 특징는 더 산산이 흩어져 있어, 고차원 레이어가 화자 외 요인(예: 환경 변화)을 더 잘 포착하고 있음을 시사한다.
• 더 큰 기준 모델은 레이어 수가 많아지면서 과적합이 심해졌지만, DLN은 동적 적응을 통해 증가된 용량을 효과적으로 활용했다.
• 표준 모델 대비 훈련 과정에서 더 빠른 수렴을 보였다.