[논문 리뷰] Why has (reasonably accurate) Automatic Speech Recognition been so hard to achieve?

Steven Wegmann, Larry Gillick|arXiv (Cornell University)|2010. 02. 28.

Speech Recognition and Synthesis참고 문헌 14인용 수 4

한 줄 요약

이 논문은 수십 년에 걸친 발전에도 불구하고 자동 음성 인식(ASR) 시스템이 여전히 높은 오류율을 보이는 이유를 조사하며, 핵심 문제는 음성 프레임 간의 통계적 독립성을 가정하는 HMM 모델의 가정에 있음을 주장한다. 실제 테스트 데이터를 HMM의 마르코프 가정을 만족하도록 재표본화함으로써(다만 대각 행렬 가우시안 출력 가정을 위반함으로써) WER를 0.5%로 낮추어, 오류의 주요 원인이 모델 구조가 아니라 데이터에 의존하는 통계적 의존성임을 입증한다.

ABSTRACT

Hidden Markov models (HMMs) have been successfully applied to automatic speech recognition for more than 35 years in spite of the fact that a key HMM assumption -- the statistical independence of frames -- is obviously violated by speech data. In fact, this data/model mismatch has inspired many attempts to modify or replace HMMs with alternative models that are better able to take into account the statistical dependence of frames. However it is fair to say that in 2010 the HMM is the consensus model of choice for speech recognition and that HMMs are at the heart of both commercially available products and contemporary research systems. In this paper we present a preliminary exploration aimed at understanding how speech data depart from HMMs and what effect this departure has on the accuracy of HMM-based speech recognition. Our analysis uses standard diagnostic tools from the field of statistics -- hypothesis testing, simulation and resampling -- which are rarely used in the field of speech recognition. Our main result, obtained by novel manipulations of real and resampled data, demonstrates that real data have statistical dependency and that this dependency is responsible for significant numbers of recognition errors. We also demonstrate, using simulation and resampling, that if we `remove' the statistical dependency from data, then the resulting recognition error rates become negligible. Taken together, these results suggest that a better understanding of the structure of the statistical dependency in speech data is a crucial first step towards improving HMM-based speech recognition.

연구 동기 및 목표

• HMM 기반 ASR 시스템이 수십 년에 걸친 정교화에도 불구하고 여전히 높은 단어 오류율(WER)을 보이는 이유를 조사하기 위해.
• HMM의 대각 행렬 가우시안 출력 모델이 오류의 주요 원인이라는 가정을 도전하며, 오히려 실제 음성 데이터의 통계적 의존성이 근본 원인임을 제안하기 위해.
• 합성 데이터 생성 및 재표본화 기법을 사용하여 HMM 독립성 가정 위반의 인식 성능에 미치는 영향을 평가하기 위해.
• 실제 데이터가 HMM 가정에서 벗어나는 정도—특히 프레임 간 통계적 의존성—이 성능을 크게 떨어뜨린다는 것을 입증하기 위해.
• 향후 스코어 상관관계를 프레임 및 상태 간에 모델링함으로써 ASR 정확도 향상의 길을 마련하기 위해.

제안 방법

• HMM 모델을 학습한 후 시뮬레이션하여 HMM 가정을 철저히 만족하는 데이터(예: 프레임 간 독립성 및 대각 행렬 가우시안 출력)를 생성함으로써 가짜 발화문을 생성함.
• WSJ 코퍼스에서 취득한 실제 테스트 데이터를 재표본화하여 원래의 음향 스코어 분포를 유지하면서도 HMM 호환 프레임 순서를 강제함으로써, 마르코프 가정은 만족하지만 대각 행렬 가우시안 출력 가정은 만족하지 않는 데이터를 생성함.
• 실제 데이터, 모델 가정을 만족하는 시뮬레이션 데이터, 마르코프 가정만 만족하는 재표본화 데이터 간의 인식 성능를 비교하기 위해 단어 오류율(WER)을 주요 평가 지표로 사용함.
• HMM 상태에서의 음향 스코어를 분석하여 인접 프레임 간 및 인접 상태 간의 상관관계를 측정하고 통계적 의존성의 강도를 평가함.
• 모델 복잡도의 영향을 분리하기 위해 단일 성분 모델과 10성분 GMM를 포함한 다양한 모델 복잡도를 비교함.
• 원시 특징에 의존하지 않고, HMM 스코어 출력을 일차원적 프록시로 간주하여 통계적 성질과 모델 가정에서의 이탈을 연구함.

실험 결과

연구 질문

• RQ1 HMM의 프레임 간 독립성 가정 위반이 실제 ASR 시스템의 높은 단어 오류율에 어느 정도 기여하는가?
• RQ2 실제 테스트 데이터에 HMM의 마르코프 가정을 재표본화를 통해 적용함으로써, 대각 행렬 가우시안 출력 가정이 위반되더라도 WER가 유의미하게 감소하는가?
• RQ3 인접 프레임 및 인접 상태 간의 음향 스코어 간 통계적 상관관계는 얼마나 강한가? 이 상관관계는 화자나 발화 방식에 따라 달라지는가?
• RQ4 최첨단 HMM 시스템에서 관찰되는 잔여 오류율(약 5%)은 모델 한계가 아니라 데이터에 의존하는 통계적 의존성 때문인가?
• RQ5 차별적 학습(예: MMI)의 성능 향상 효과는 모델링되지 않은 스코어 상관관계를 간접적으로 보완하기 때문인가?

주요 결과

• 실제 테스트 데이터를 HMM의 마르코프 가정을 만족하도록 재표본화함으로써 WER를 18%에서 0.5%로 감소시켜, 데이터에 의존하는 통계적 의존성이 오류의 주요 원인임을 입증함.
• HMM 모델에서 시뮬레이션한 가짜 발화문에 대한 인식 성능은 WER 0.2%를 기록하여, 모델 가정이 충족될 경우 모델이 거의 완벽하게 작동함을 확인함.
• 재표본화된 데이터의 WER(0.5%)가 완전히 시뮬레이션된 데이터의 WER(0.2%)와 거의 유사하여, 대각 행렬 가우시안 출력 가정이 주요 제약 요소가 아님을 시사함.
• 동일 상태의 인접 프레임 간 음향 스코어에 유의미한 상관관계가 발견되었으며, 놀랍게도 인접 상태의 앞선 스코어 간에도 거의 동일한 정도의 상관관계가 존재함.
• 화자 효과는 관찰된 통계적 의존성에 거의 기여하지 않아, 이 상관관계 구조가 화자 특이적 변동보다는 음성 생성 동역학과 더 관련이 있음을 시사함.
• 최첨단 HMM 시스템에서의 잔여 5% 오류율은 HMM 프레임워크 자체의 결함 때문이 아니라, 실제 음성 데이터에서 모델링되지 않은 통계적 의존성 때문일 가능성이 높음.