[논문 리뷰] Feature Learning with Gaussian Restricted Boltzmann Machine for Robust Speech Recognition

Xin Zheng, Zhiyong Wu외 3명|arXiv (Cornell University)|2013. 09. 23.

Speech Recognition and Synthesis참고 문헌 12인용 수 6

한 줄 요약

이 논문은 복소음 환경에서의 강건한 음성 인식 특징 학습을 위한 다변량 정규 분포 제한 볼츠만 기계(MGRBM)를 제안한다. 기존의 MFCC보다 음성 프레임 간의 시간적 상관관계를 더 잘 포착함으로써 성능을 향상시킨다. Aurora2 데이터셋에서의 실험 결과, MGRBM로 추출한 특징은 MFCC 및 표준 GRBM 특징보다 우수한 성능을 보였으며, 특히 저 SNR 조건에서 하이브리드 HMM-DNN 모델을 사용할 경우 최대 50%의 상대적 WER 감소를 기록하였다.

ABSTRACT

In this paper, we first present a new variant of Gaussian restricted Boltzmann machine (GRBM) called multivariate Gaussian restricted Boltzmann machine (MGRBM), with its definition and learning algorithm. Then we propose using a learned GRBM or MGRBM to extract better features for robust speech recognition. Our experiments on Aurora2 show that both GRBM-extracted and MGRBM-extracted feature performs much better than Mel-frequency cepstral coefficient (MFCC) with either HMM-GMM or hybrid HMM-deep neural network (DNN) acoustic model, and MGRBM-extracted feature is slightly better.

연구 동기 및 목표

• 수동으로 설계된 특징(예: MFCC)에 의존도를 낮추는 딥 표현 학습 방법을 개발하는 것.
• 기존의 GRBM이 음성 프레임 간의 시간적 상관관계를 모델링하는 데 한계를 가진 문제를 해결하는 것.
• 저 SNR 및 배경 잡음과 같은 열악한 음성 환경에서도 인식 정확도를 향상시키는 것.
• 비지도 특징 학습을 통해 MGRBM이 HMM-GMM 및 HMM-DNN 시스템의 성능을 향상시킬 수 있음을 입증하는 것.

제안 방법

• 다중 인접 프레임의 음성 특징의 공분산 구조를 모델링할 수 있도록 설계된 다변량 정규 분포 RBM(MGRBM)이라는 새로운 유형의 가우시안 RBM을 제안한다.
• 대trastive divergence(CD) 알고리즘을 사용하여 학습하며, 에너지 기반 모델에서 유도된 조건부 확률을 사용한다: p(h_j=1|v) = sigmoid(b_j + Σ_i W_ij v_i / σ_i) 및 p(v_i|h) ~ N(a_i + σ_i Σ_j W_ij h_j, σ_i²).
• HMM-GMM와의 공정한 비교를 위해 학습된 특징의 차원을 감소시키기 위해 주성분 분석(PCA)을 적용하지만, 이는 정보 손실을 초래한다.
• DNN의 경우 스택 오토인코더를 사용한 사전 학습 전략을 적용한 후, 백프로파게이션을 통한 미세조정을 수행하며, 4개의 은닉층 각각 1024개의 뉴런을 사용한다.
• DNN의 입력으로는 MFCC의 9프레임 컨텍스트(351D)를 사용하며, 모든 입력은 평균이 0이고 분산이 1이 되도록 정규화된다.
• Aurora2 코퍼스에서 다양한 SNR 수준에서 단어 오류율(WER)을 측정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 MGRBM과 같은 딥 생성 모델은 복잡한 환경에서 기존의 MFCC보다 더 분류에 유용한 음성 특징을 학습할 수 있는가?
• RQ2 음성 특징 간의 프레임 간 공분산을 모델링함으로써 음성 인식의 강건성이 향상되는가?
• RQ3 다양한 SNR 수준에서 MGRBM로 추출한 특징은 MFCC 및 표준 GRBM 특징과 비교해 어떻게 성능을 내는가?
• RQ4 MGRBM을 사용한 비지도 특징 학습은 추가적인 레이블 데이터 없이도 HMM-GMM 및 HMM-DNN 시스템의 성능 향상에 기여하는가?

주요 결과

• Aurora2 코퍼스에서 MGRBM로 추출한 특징은 10dB SNR 조건에서 15.79%의 WER를 기록하여, 동일한 HMM-DNN 환경에서 MFCC(32.06%) 및 GRBM 특징(25.85%)을 모두 앞섰다.
• 5dB SNR 조건에서는 MGRBM이 WER를 40.99%로 줄였고, MFCC는 59.75%, GRBM 특징은 58.05%였으며, MFCC 대비 31.5%의 상대적 향상도를 보였다.
• PCA를 통한 차원 감소(39D로)에도 불구하고, MGRBM 특징은 청소 환경 이외의 모든 SNR 조건에서 MFCC를 능가했으며, 이는 정보 손실에 대한 강건성을 시사한다.
• SNR이 낮아질수록 MGRBM과 GRBM 특징 간의 성능 격차가 커졌으며, 이는 MGRBM이 노이즈에 강건한 표현을 더 잘 포착함을 시사한다.
• -5dB SNR 조건에서 MGRBM은 94.68%의 WER를 기록했고, MFCC는 106.20%였으며, MFCC 대비 10.9%의 상대적 향상도를 보였다.
• 결과적으로 MGRBM을 통한 비지도 특징 학습은 모든 노이즈 수준에서 인식 성능 향상을 확인했으며, 특히 저 SNR 환경에서 두드러진 성능 향상을 보였다.