[논문 리뷰] Powering Hidden Markov Model by Neural Network based Generative Models

Dong Liu, Antoine Honoré외 2명|arXiv (Cornell University)|2019. 10. 13.

Speech Recognition and Synthesis참고 문헌 24인용 수 10

한 줄 요약

이 논문은 신경망 기반 생성 모델을 통합한 새로운 은닉 마르코프 모델인 GenHMM을 제안한다. 각 은닉 상태는 유연한 혼합 생성기 기반의 흐름 기반 모델을 사용하여 정확하고 효율적인 우도 계산을 가능하게 한다. 이 모델은 GMM-HMM보다 우수한 성능을 보이며, 청결한 조건과 노이즈가 있는 조건에서 음소 인식 작업에서 최대 13.2%의 정확도 향상을 기록한다. 이는 EM 프레임워크 내에서 깊이 있는 생성 모델 성분을 통해 모델링 능력과 강인성이 향상됨을 보여준다.

ABSTRACT

Hidden Markov model (HMM) has been successfully used for sequential data modeling problems. In this work, we propose to power the modeling capacity of HMM by bringing in neural network based generative models. The proposed model is termed as GenHMM. In the proposed GenHMM, each HMM hidden state is associated with a neural network based generative model that has tractability of exact likelihood and provides efficient likelihood computation. A generative model in GenHMM consists of mixture of generators that are realized by flow models. A learning algorithm for GenHMM is proposed in expectation-maximization framework. The convergence of the learning GenHMM is analyzed. We demonstrate the efficiency of GenHMM by classification tasks on practical sequential data. Code available at https://github.com/FirstHandScientist/genhmm.

연구 동기 및 목표

• 기존의 GMM-HMM이 복잡하고 비선형적인 순차적 데이터 분포를 모델링하는 데 한계를 가진다는 문제를 해결하기 위해.
• 신경망 기반 생성기들을 활용해 높은 모델링 능력을 갖춘 생성 HMM 프레임워크를 개발하기 위해.
• 흐름 기반 정규화 흐름을 사용해 HMM에서 정확하고 효율적인 우도 계산을 가능하게 하기 위해.
• EM의 단순성은 유지하면서도 유연하고 고용량의 생성 성분을 지원하는 학습 알고리즘을 제공하기 위해.
• 실제 순차적 데이터에서의 분류 작업을 통해 제안된 모델의 우수성을 실증적으로 검증하기 위해, 특히 노이즈 조건 하에서도 성능을 입증하기 위해.

제안 방법

• GenHMM은 각 HMM 상태의 표준 GMM 발화 모델을 흐름 기반 생성 모델의 혼합 모델로 대체하여, 변수 변화 공식을 통해 정확한 우도 계산을 가능하게 한다.
• 혼합 모델 내 각 생성기는 정규화 흐름으로 구현되어, 역행 가능하고 미분 가능한 변환을 통해 접근 가능한 밀도 추정이 가능하다.
• 학습에는 기대-최대화(EM) 프레임워크를 사용하며, 흐름 매개변수 최적화에 확률적 경사 하강법을 M단계에서 적용한다.
• EM 알고리즘은 온건한 정규성 조건 하에서 수렴을 보장하여, GMM-HMM과 유사한 안정적인 학습을 가능하게 한다.
• 각 상태의 발화 확률은 흐름 혼합 모델로 모델링되어, 복잡하고 비선형적인 데이터 다양체를 포착할 수 있다.
• 이 프레임워크는 생성적 및 판별적 평가 모두를 지원하며, MFCC 특징을 사용한 TIMIT 음소 인식 실험을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 신경망 기반 생성 모델은 순차적 데이터에 대한 HMM의 모델링 능력을 향상시킬 수 있는가?
• RQ2 정규화 흐름을 발화 모델로 사용할 경우, HMM에서 정확한 우도 계산을 효율적으로 달성할 수 있는가?
• RQ3 제안된 GenHMM은 실제 순차적 데이터에서 GMM-HMM보다 분류 정확도가 높은가?
• RQ4 음성 인식 작업에서 GMM-HMM에 비해 GenHMM은 입력 노이즈에 대해 얼마나 강인한가?
• RQ5 계층적 또는 종단 간 최적화 없이도 EM 기반 학습 프레임워크를 깊이 있는 생성 HMM에 효과적으로 적용할 수 있는가?

주요 결과

• 청결한 TIMIT 데이터(39개 음소)에서 GenHMM은 테스트 정확도 77.7%를 기록했으며, 동일 조건에서 GMM-HMM의 68.0%보다 유의미하게 높았다.
• 30dB 백색 노이즈가 있는 테스트 데이터에서 GenHMM은 74.3%의 정확도를 유지했고, GMM-HMM은 57.1%로 떨어졌다. 이는 더 뛰어난 강인성을 보여준다.
• 20dB粉색 노이즈 조건에서는 GenHMM이 65.1%의 정확도를 기록했고, GMM-HMM은 48.8%였으며, 다양한 노이즈 유형에서 일관된 성능 향상을 보였다.
• 61개 음소 설정에서 GenHMM은 52.3%의 정확도(K=5)를 기록했고, GMM-HMM은 42.2%였으며, 이는 확장성과 일반화 능력을 보여준다.
• 가장 도전적인 노이즈 조건(30dB 백색 노이즈)에서 GenHMM은 GMM-HMM보다 13.2%의 절대 정확도 향상을 기록했으며, 이는 뛰어난 내구성을 입증한다.
• 모든 노이즈 유형과 SNR 수준에서 GenHMM은 GMM-HMM보다 높은 정밀도와 F1 점수를 기록했으며, 이는 일관된 성능 향상을 확인한다.