[논문 리뷰] Feature Learning in Deep Neural Networks - Studies on Speech Recognition Tasks

Dong Yu, Michael L. Seltzer외 3명|arXiv (Cornell University)|2013. 01. 16.

Speech Recognition and Synthesis참고 문헌 17인용 수 177

한 줄 요약

이 논문은 깊이 있는 신경망(DNNs)이 계층적인 비선형 변환을 통해 매우 변하지 않는 특징과 분류 능력을 학습함으로써, 화자, 잡음, 대역폭 차이와 같은 작은 입력 변동에 대해 강건함을 보임을 보여준다. 명시적 적응이 필요하지 않은 상황에서도 DNN 기반 음성인식(ASR) 시스템은 반복적 적응과 정규화에 의존하는 복잡한 GMM-HMM 시스템을 능가하는 최신 성능을 달성한다.

ABSTRACT

Recent studies have shown that deep neural networks (DNNs) perform significantly better than shallow networks and Gaussian mixture models (GMMs) on large vocabulary speech recognition tasks. In this paper, we argue that the improved accuracy achieved by the DNNs is the result of their ability to extract discriminative internal representations that are robust to the many sources of variability in speech signals. We show that these representations become increasingly insensitive to small perturbations in the input with increasing network depth, which leads to better speech recognition performance with deeper networks. We also show that DNNs cannot extrapolate to test samples that are substantially different from the training examples. If the training data are sufficiently representative, however, internal features learned by the DNN are relatively stable with respect to speaker differences, bandwidth differences, and environment distortion. This enables DNN-based recognizers to perform as well or better than state-of-the-art systems based on GMMs or shallow networks without the need for explicit model adaptation or feature normalization.

연구 동기 및 목표

• 깊이 있는 신경망(DNNs)이 음성 인식을 위해 강건한 내부 표현을 어떻게 학습하는지 조사하기 위해.
• DNNs가 화자 차이, 잡음, 대역폭 변화와 같은 새로운 음성 신호의 유사하지만 예측하지 못한 변형에 얼마나 잘 일반화되는지 분석하기 위해.
• GMM 기반 시스템에서 VTLN, MLLR, 또는 VTS와 같은 복잡한 적응 기법을 대체할 수 있는지 평가하기 위해.
• 시험 데이터가 훈련 데이터와 크게 다를 경우 DNN의 일반화 한계를 규명하기 위해.
• 대표적인 훈련 데이터만으로도 명시적 모델 적응 없이 강건한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• DNNs를 비선형 특징 변환과 분류 기반 분류를 결합한 로그선형 모델의 스택으로 간주한다.
• 각각 2048개의 유닛을 가진 7개의 은닉층을 가진 깊은 아키텍처를 사용하며, 계층별 사전 훈련 후 역전파를 이용한 분류 기반 미세조정을 통해 훈련한다.
• 24차원의 로그 멜필터뱅크 특징과 동적 시절계 계수를 사용하여 11프레임의 컨텍스트 창에서 792차원의 입력을 구성한다.
• 모든 네트워크 계층에서 작은 입력 편향에 대한 민감도를 측정하여 특징의 불변성 여부를 평가한다.
• MPE, NAT, VTS, MLLR를 사용한 적응 기반의 GMM-HMM 기준 모델들과의 성능 비교를 수행한다.
• 청결한 음성 전용 및 넓은 대역 전용 훈련에 대한 분석 실험을 통해 분포 이격이 심한 상황에서의 일반화 한계를 테스트한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망은 음성 신호의 작은 입력 변동에 대해 어떻게 강건한 내부 표현을 학습하는가?
• RQ2 DNNs는 훈련 데이터와 상당히 다를 수 있는 시험 샘플에 얼마나 잘 일반화되는가?
• RQ3 명시적 모델 적응 또는 특징 정규화 없이도 DNNs가 음성 인식 작업에서 최신 수준의 성능을 달성할 수 있는가?
• RQ4 네트워크 깊이가 입력 편향에 대한 학습된 특징의 불변성에 어떤 영향을 미치는가?
• RQ5 훈련 데이터의 대표성은 화자, 잡음, 대역폭 변화에 대한 일반화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 더 깊은 DNNs는 점점 더 작은 입력 편향에 민감도가 낮아지며, 고차원 표현에서 더 큰 불변성을 보인다.
• DNN 시스템은 Aurora 4 벤치마크에서 평균 13.4%의 단어 오류율(WER)을 기록하여, 복수의 디코딩 프로세스나 적응 없이도 최고의 보고된 성능를 달성했다.
• 청결한 음성 전용으로만 훈련된 DNN은 노이즈가 있는 및 왜곡된 시험 세트에서 평균 30.6%의 WER로 성능이 저하되어 훈련 분포를 초월해 외삽할 수 없음을 확인했다.
• 광대역 음성 전용으로만 훈련된 DNN은 좁은 대역 음성을 인식하지 못했으며, 일반화가 작은 분포 이격에 한정됨을 시사했다.
• 명시적 적응이 없음에도 불구하고, DNN은 VTS, MLLR, NAT와 같은 복잡한 기법을 사용한 GMM-HMM 시스템을 능가하거나 유사한 성능을 내며 단일 전방 전파로도 우수한 성능를 달성했다.
• 다양한 데이터로 훈련된 DNN은 화자 불변성과 노이즈에 강건한 특징을 학습하여, 화자나 환경 적응 없이도 강건한 성능를 발휘했다.