[논문 리뷰] Discriminative Segmental Cascades for Feature-Rich Phone Recognition

Hao Tang, Weiran Wang외 2명|arXiv (Cornell University)|2015. 07. 22.

Speech Recognition and Synthesis참고 문헌 15인용 수 12

한 줄 요약

이 논문은 최대 마진 프루닝을 통해 고차수이자 계산 비용이 큰 특징—예를 들어 세그먼트 신경망, 이阶 언어 모델, 화자 구분 특징 등—을 분류적 세그먼트 모델에 효율적으로 통합할 수 있는, 굵기에서 세밀한 디코딩 및 훈련 프레임워크인 분류적 세그먼트 계열(이하 DSC)을 제안한다. 이 방법은 TIMIT에서 19.9%의 화자 오류율을 달성하여 세그먼트 모델 분야에서 최고의 성능을 기록한다.

ABSTRACT

Discriminative segmental models, such as segmental conditional random fields (SCRFs) and segmental structured support vector machines (SSVMs), have had success in speech recognition via both lattice rescoring and first-pass decoding. However, such models suffer from slow decoding, hampering the use of computationally expensive features, such as segment neural networks or other high-order features. A typical solution is to use approximate decoding, either by beam pruning in a single pass or by beam pruning to generate a lattice followed by a second pass. In this work, we study discriminative segmental models trained with a hinge loss (i.e., segmental structured SVMs). We show that beam search is not suitable for learning rescoring models in this approach, though it gives good approximate decoding performance when the model is already well-trained. Instead, we consider an approach inspired by structured prediction cascades, which use max-marginal pruning to generate lattices. We obtain a high-accuracy phonetic recognition system with several expensive feature types: a segment neural network, a second-order language model, and second-order phone boundary features.

연구 동기 및 목표

• 세그먼트 신경망 및 이阶 특징과 같은 고차수 또는 고비용 특징을 사용하는 분류적 세그먼트 모델의 디코딩에서 발생하는 계산 병목 현상을 해결하기 위해.
• 복잡한 특징 통합을 통해 다중 단계 디코딩을 효과적으로 가능하게 하여, 첫 번째 단계 모델을 초월한 화자 인식 정확도 향상을 위해.
• 빔 서치가 구조적 서포트 벡터 머신에서 재평가 모델을 훈련시키는 데 적합한지, 그 기초적인 근사 및 학습 한계를 감안할 때를 검토하기 위해.
• 의도적인 프루닝을 통해 가설 공간을 줄이면서도 높은 정확도를 유지하는 계층적 디코딩 프레임워크를 개발하기 위해.

제안 방법

• 특징 복잡도가 점점 증가하는 모델의 계열을 사용하며, 각 단계에서 최대 마진 점수를 이용해 가설 공간을 프루닝하여 고성능 경로의 유지 보장을 한다.
• 최대 마진 프루닝을 적용한 구조적 예측 계열을 사용하여, 빔 서치와 달리 임계값 이상의 점수를 가진 모든 경로를 보존함을 보장한다.
• 힌지 손실로 훈련된 세그먼트 구조적 서포트 벡터 머신에 적용되며, 이는 복잡한 특징 공간에서의 분류적 학습을 가능하게 한다.
• 세그먼트 신경망 출력(얕은 네트워크로의 지식 정복을 통해), 이阶 언어 모델, 이阶 화자 경계 특징과 같은 고비용 특징을 통합한다.
• 디코딩 과정은 가설 그래프와 레이티스 재평가의 유한 상태 조합을 포함하며, 각 계층에서 프루닝을 수행하여 계산 비용을 통제한다.
• 훈련 과정은 대용량 마진 목적함수와 힌지 손실을 사용하며, 두 번째 단계 모델은 첫 번째 단계에서 프루닝된 레이티스를 기반으로 최대 마진 점수를 지도로 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 빔 서치가 근사적 디코딩에서 널리 사용되지만, 그 기초적인 근사 및 학습 한계를 감안할 때, 세그먼트 구조적 서포트 벡터 머신에서 재평가 모델을 훈련시키는 데 효과적으로 사용될 수 있는가?
• RQ2 계층적 프레임워크에서 최대 마진 프루닝이 세그먼트 모델의 복잡한 고차수 특징 학습에서 빔 서치를 능가하는가?
• RQ3 세그먼트 신경망 및 이阶 특징과 같은 고비용 특징을 통합함으로써 분류적 세그먼트 모델이 최고의 화자 인식 정확도를 달성할 수 있는가?
• RQ4 이阶 언어 모델과 화자 경계 특징을 통합했을 때, 첫 번째 단계 또는 계층적 설정에서 인식 성능에 어떤 영향을 미치는가?

주요 결과

• 분류적 세그먼트 계열(DSC) 프레임워크는 TIMIT 데이터셋에서 19.9%의 화자 오류율을 기록하여, 세그먼트 모델 분야에서 지금까지 가장 높은 성능을 달성했다.
• 첫 번째 단계 시스템만으로도 유니그램 언어 모델을 사용해 21.4%의 오류율을 기록했으며, 이는 이전의 세그먼트 모델을 초월하고 HMM-DNN 시스템과도 경쟁 가능한 성능을 보였다.
• DSC의 두 번째 단계는 이阶 언어 모델, 세그먼트 신경망 특징, 이阶 화자 경계 특징을 통합함으로써 첫 번째 단계 모델 대비 1.8%p의 절대 오류 감소를 달성했다.
• 세그먼트 신경망 앙상블은 TIMIT 세그먼트 분류 작업에서 15.0%의 오류율을 기록했으며, 이는 해당 작업에서 지금까지 가장 높은 성능이다.
• 깊은 세그먼트 분류기에서 얕은 네트워크로의 지식 정복을 통해 효율적인 추론이 가능해졌으며, 이 정복된 특징은 최종 모델의 입력으로 사용되었다.
• 빔 서치는 두 번째 단계 모델 훈련에 부적합하다는 것이 확인되었으며, 조기 경로 프루닝 및 비음수 간선 가중치 등의 문제로 효과적인 기울기 갱신이 이루어지지 않았다.