Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Bayesian Learning of LF-MMI Trained Time Delay Neural Networks for Speech Recognition

Shoukang Hu, Xurong Xie|arXiv (Cornell University)|2020. 12. 08.
Speech Recognition and Synthesis참고 문헌 81인용 수 4
한 줄 요약

이 논문은 변분 추론을 사용하여 가중치 파am터, 활성화 함수, 히든 레이어 출력의 불확실성을 모델링하는 완전 베이지안 프레임워크를 제안한다. 이는 LF-MMI로 훈련된 인자 분해 TDNN에 적용되며, 다양한 음성 인식 작업에서 0.4%-1.8%의 절대 WER 감소를 달성한다. 이는 표준 정규화 및 적응 기법을 사용하는 최신 기준 시스템을 능가한다.

ABSTRACT

Discriminative training techniques define state-of-the-art performance for automatic speech recognition systems. However, they are inherently prone to overfitting, leading to poor generalization performance when using limited training data. In order to address this issue, this paper presents a full Bayesian framework to account for model uncertainty in sequence discriminative training of factored TDNN acoustic models. Several Bayesian learning based TDNN variant systems are proposed to model the uncertainty over weight parameters and choices of hidden activation functions, or the hidden layer outputs. Efficient variational inference approaches using a few as one single parameter sample ensure their computational cost in both training and evaluation time comparable to that of the baseline TDNN systems. Statistically significant word error rate (WER) reductions of 0.4%-1.8% absolute (5%-11% relative) were obtained over a state-of-the-art 900 hour speed perturbed Switchboard corpus trained baseline LF-MMI factored TDNN system using multiple regularization methods including F-smoothing, L2 norm penalty, natural gradient, model averaging and dropout, in addition to i-Vector plus learning hidden unit contribution (LHUC) based speaker adaptation and RNNLM rescoring. Consistent performance improvements were also obtained on a 450 hour HKUST conversational Mandarin telephone speech recognition task. On a third cross domain adaptation task requiring rapidly porting a 1000 hour LibriSpeech data trained system to a small DementiaBank elderly speech corpus, the proposed Bayesian TDNN LF-MMI systems outperformed the baseline system using direct weight fine-tuning by up to 2.5\% absolute WER reduction.

연구 동기 및 목표

  • 제한된 훈련 데이터를 사용할 때 인자 분해 TDNN의 순서 기반 판별 훈련에서 과적합 문제를 해결하기 위해.
  • 가중치, 활성화 함수, 히든 레이어 출력의 불확실성을 원칙적인 베이지안 방식으로 모델링하기 위해.
  • 훈련 및 추론 비용이 표준 TDNN과 유사한 계산 효율적인 베이지안 TDNN 변종을 개발하기 위해.
  • 모델 불확실성 추정을 순서 수준의 MMI 목적 함수에 원활하게 통합하기 위해.
  • 다양한 ASR 시나리오에서 최신 정규화 및 적응 기법과의 비교를 위해 제안된 베이지안 방법을 평가하기 위해.

제안 방법

  • 가중치 파am터, 활성화 함수, 히든 레이어 출력의 불확실성을 모델링하는 LF-MMI로 훈련된 인자 분해 TDNN에 대한 완전 베이지안 프레임워크를 수립한다.
  • 훈련 및 추론 시 계산 효율성을 확보하기 위해 최소한의 하나의 파am터 샘플을 사용하는 변분 추론을 적용한다.
  • 드롭아웃을 제안된 베이지안 TDNN 프레임워크의 특수 케이스로 재구성한다.
  • 신경망 아키텍처 선택의 불확실성을 모델링하기 위해 가우시안 프로세스 기반 TDNN 변종(GP-TDNN2 및 GP-TDNN3)을 도입한다. 특히 활성화 함수 선택에 유용하다.
  • 모델 훈련 및 불확실성 추정에 동일한 순서 수준의 MMI 목적 함수를 공유하여 최적화의 일관성을 확보한다.
  • 포괄적인 평가를 위해 표준 ASR 파이프라인(예: i-Vector 적응, LHUC, RNNLM 재스코어링)에 이 프레임워크를 적용한다.
Figure 1: An example TDNN architecture with the option of using standard TDNN, Bayesian TDNN and Gaussian Process TDNN. In this example, the input dimension of all hidden nodes is assumed to be two. $w_{1}$ and $w_{2}$ are the corresponding weights for each input dimension of a hidden node. Conventi
Figure 1: An example TDNN architecture with the option of using standard TDNN, Bayesian TDNN and Gaussian Process TDNN. In this example, the input dimension of all hidden nodes is assumed to be two. $w_{1}$ and $w_{2}$ are the corresponding weights for each input dimension of a hidden node. Conventi

실험 결과

연구 질문

  • RQ1계산 비용을 증가시키지 않으면서도 완전 베이지안 프레임워크가 LF-MMI로 훈련된 TDNN의 과적합을 효과적으로 줄일 수 있는가?
  • RQ2가중치, 활성화 함수, 히든 유닛의 불확실성을 모델링할 경우 저자료 시나리오에서 WER에 어떤 영향을 미치는가?
  • RQ3최소한의 샘플로도 표준 TDNN과 유사한 성능을 유지하면서 불확실성 인식 학습을 가능하게 하는 변분 추론은 가능한가?
  • RQ4기존 정규화 기법(L2, 드롭아웃, 모델 평균화 등)과 비교했을 때 제안된 베이지안 접근법은 일반화 성능에서 어떤가?
  • RQ5베이지안 TDNN은 특히 피니튜닝이 제한된 경우에 다중 도메인 적응 성능을 얼마나 향상시킬 수 있는가?

주요 결과

  • 제안된 베이지안 TDNN 시스템은 900시간의 스피드 퍼터브된 Switchboard 기준 기준보다 통계적으로 유의미한 0.4%-1.8% 절대 WER 감소(5%-11% 상대 감소)를 달성하였다.
  • 450시간의 HKUST 중국어 코퍼스에서 일관된 WER 향상이 관찰되어 언어 및 도메인 간 일반화 능력이 확인되었다.
  • LibriSpeech(1000시간)에서 DementiaBank(10시간)로의 도메인 간 적응 과제에서, 베이지안 TDNN은 직접 피니튜닝보다 1.1% 절대 WER 감소를 기록했으며, 이는 베이지안 접근법의 우수성을 입증한다.
  • GP-TDNN 변종는 신경망 아키텍처의 불확실성을 모델링할 수 있었으며, 특히 최적의 활성화 함수 선택에 있어 유일한 이점을 보였다.
  • 다양한 정규화 기법, 데이터 증강, 화자 적응, RNNLM 재스코어링을 적용한 최신 기준 시스템과 비교해도 베이지안 프레임워크는 일관되게 뛰어난 성능을 보였다.
  • 효율적인 변분 추론과 최소한의 파am터 샘플을 사용함으로써, 베이지안 시스템의 계산 비용은 기준 TDNN과 유사하게 유지되었다.
Figure 2: An example Variational TDNN. Note that the output vector of $l$ -th layer $\mathbf{h}_{t}^{l}$ is used as the input of the inference network $\Phi^{Infer}$ and prior network $\Phi^{Prior}$ to calculate the mean and variance of the latent variable variational and prior distributions respect
Figure 2: An example Variational TDNN. Note that the output vector of $l$ -th layer $\mathbf{h}_{t}^{l}$ is used as the input of the inference network $\Phi^{Infer}$ and prior network $\Phi^{Prior}$ to calculate the mean and variance of the latent variable variational and prior distributions respect

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.