[논문 리뷰] Towards Consistent Hybrid HMM Acoustic Modeling

Tina Raissi, Eugen Beck외 2명|arXiv (Cornell University)|2021. 04. 06.

Speech Recognition and Synthesis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 클러스터링이나 사전 GMM 정렬 없이 전체 트라이포네 상태 세트를 사용하여 훈련하는 플랫스타트 인수분해 하이브리드 HMM 모델을 제안한다. 이는 훈련 파이프라인을 단순화한다. 이 모델은 Viterbi 훈련과 간단한 모델에서 유도된 정렬을 사용한 프레임 단위 교차엔트로피를 통해 경쟁 가능한 성능을 달성하며, 표준 하이브리드 시스템 대비 2.8% 이내의 상대적 WER을 기록한다. 이는 상태 바인딩과 복잡한 클러스터링이 높은 성능을 내기 위해 필수적인 것은 아님을 보여준다.

ABSTRACT

High-performance hybrid automatic speech recognition (ASR) systems are often trained with clustered triphone outputs, and thus require a complex training pipeline to generate the clustering. The same complex pipeline is often utilized in order to generate an alignment for use in frame-wise cross-entropy training. In this work, we propose a flat-start factored hybrid model trained by modeling the full set of triphone states explicitly without relying on clustering methods. This greatly simplifies the training of new models. Furthermore, we study the effect of different alignments used for Viterbi training. Our proposed models achieve competitive performance on the Switchboard task compared to systems using clustered triphones and other flat-start models in the literature.

연구 동기 및 목표

• 하이브리드 HMM 음성 모델링에서 복잡한 클러스터링 파이프라인을 제거하는 것.
• GMM 기반 정렬과 상태 바인딩을 피함으로써 훈련 과정을 단순화하는 것.
• 다양한 정렬이 플랫스타트 인수분해 하이브리드 프레임워크에서 Viterbi 훈련에 미치는 영향을 평가하는 것.
• 상관관계 있는, 클러스터링되지 않은 트라이포네 모델에서 풀섬 훈련과 Viterbi 훈련의 성능을 비교하는 것.
• 실제 재정렬된 초기 모델을 사용한 플랫스타트 훈련이 표준 하이브리드 시스템 성능을 따라잡을 수 있는지 평가하는 것.

제안 방법

• 클러스터링이나 상태 바인딩 없이 모든 트라이포네 상태를 명시적으로 모델링하는 인수분해 하이브리드 HMM 모델을 제안한다.
• 완전한 트라이포네 의존성 모델링을 피하기 위해 단순화된 가정을 도입한 풀섬 훈련 목표를 사용한다.
• 엔드투엔드 최적화를 위해 Viterbi 디코딩을 사용한 프레임 단위 교차엔트로피를 활용한다.
• 다단계 음성 훈련을 위해 단음소, 이음소, 탄덤 시스템의 정렬을 사용하여 초기화한다.
• 정렬에서 침묵의 지배를 방지하기 위해 각 요소별 별도의 사전 확률을 적용한다.
• n-음소 모델을 (n-1)-음소 모델로 초기화하고 옵티마이저를 재설정함으로써 다단계 음성 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 클러스터링이나 GMM 기반 정렬 없이도 플랫스타트 인수분해 하이브리드 HMM 모델이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 초기 정렬의 선택이 인수분해 하이브리드 모델에서 Viterbi 훈련 성능에 미치는 영향은 어떠한가?
• RQ3 점차적으로 더 복잡한 정렬을 사용한 다단계 음성 훈련에서의 성능 향상은 얼마나 되는가?
• RQ4 클러스터링되지 않은 트라이포네를 사용할 때 풀섬 훈련과 Viterbi 훈련의 WER 측면에서의 성능 비교는 어떠한가?
• RQ5 초기 상태에서부터 훈련된 인수분해 하이브리드 모델이 상태 바인딩이 있는 표준 하이브리드 시스템의 성능을 따라잡을 수 있는가?

주요 결과

• 플랫스타트 인수분해 하이브리드 모델은 Switchboard에서 15.0% WER를 기록했으며, Viterbi 훈련을 사용한 표준 하이브리드 시스템 대비 7.3% 상대적 WER로 낮다.
• Tandem 기반 정렬을 사용한 Viterbi 훈련에서, 인수분해 트라이포네 모델은 표준 하이브리드를 2.8% 상대적 WER로 초월한다.
• 재정렬된 초기 모델을 사용한 다단계 음성 훈련은 일관된 성능 향상을 이끌어내며, 이음소 정렬을 사용할 경우 단음소 모델 대비 9.9% 상대적 WER 향상이 이루어진다.
• GMM-Mono 정렬과 F-align을 사용한 모델은 표준 하이브리드 대비 6.0% 상대적 WER 저하를 보였지만, 이는 이음소 기반 정렬을 사용할 경우 2.1%로 개선된다.
• 단순화된 가정을 적용한 풀섬 훈련은 F-align과 조합했을 때 Viterbi 훈련보다 略적으로 더 좋은 결과를 내지만, 격차는 작다.
• Viterbi와 Tandem 정렬을 사용한 인수분해 하이브리드 모델은 동일한 정렬을 사용한 표준 하이브리드 시스템 대비 2.8% 상대적 WER로 더 우수하다.