[論文レビュー] Bayesian Learning of LF-MMI Trained Time Delay Neural Networks for Speech Recognition

Shoukang Hu, Xurong Xie+6 more|arXiv (Cornell University)|Dec 8, 2020

Speech Recognition and Synthesis参考文献 81被引用数 4

ひとこと要約

本論文は、変分推論を用いて重みパラメータ、活性化関数、隠れ層出力の不確実性を扱うフルベイジアンフレームワークを、LF-MMIで訓練されたファクタードTDNNに提案する。複数の音声認識タスクで0.4%〜1.8%の絶対的WER低減を達成し、標準的な正則化および適応手法を用いた最先端のベースラインシステムを上回る性能を発揮する。

ABSTRACT

Discriminative training techniques define state-of-the-art performance for automatic speech recognition systems. However, they are inherently prone to overfitting, leading to poor generalization performance when using limited training data. In order to address this issue, this paper presents a full Bayesian framework to account for model uncertainty in sequence discriminative training of factored TDNN acoustic models. Several Bayesian learning based TDNN variant systems are proposed to model the uncertainty over weight parameters and choices of hidden activation functions, or the hidden layer outputs. Efficient variational inference approaches using a few as one single parameter sample ensure their computational cost in both training and evaluation time comparable to that of the baseline TDNN systems. Statistically significant word error rate (WER) reductions of 0.4%-1.8% absolute (5%-11% relative) were obtained over a state-of-the-art 900 hour speed perturbed Switchboard corpus trained baseline LF-MMI factored TDNN system using multiple regularization methods including F-smoothing, L2 norm penalty, natural gradient, model averaging and dropout, in addition to i-Vector plus learning hidden unit contribution (LHUC) based speaker adaptation and RNNLM rescoring. Consistent performance improvements were also obtained on a 450 hour HKUST conversational Mandarin telephone speech recognition task. On a third cross domain adaptation task requiring rapidly porting a 1000 hour LibriSpeech data trained system to a small DementiaBank elderly speech corpus, the proposed Bayesian TDNN LF-MMI systems outperformed the baseline system using direct weight fine-tuning by up to 2.5\% absolute WER reduction.

研究の動機と目的

• 限られた学習データを用いたファクタードTDNNの系列判別的学習における過学習を緩和すること。
• 重みパラメータ、活性化関数、隠れ層出力の不確実性を原理的で整合性のあるベイジアンな方法でモデル化すること。
• 学習および推論コストが標準TDNNと同等となる、計算効率の良いベイジアンTDNNの変種を開発すること。
• モデルの不確実性推定を、系列レベルのMMI目的関数にスムーズに統合すること。
• 多様なASRシナリオにおいて、提案されたベイジアン手法を最先端の正則化および適応手法と比較して評価すること。

提案手法

• 重みパラメータ、活性化関数、隠れ層出力の不確実性をモデル化する、LF-MMIで訓練されたファクタードTDNNのフルベイジアンフレームワークを構築する。
• 学習および推論における計算効率を確保するため、最小限の1つのパラメータサンプルで十分な変分推論を採用する。
• ドロップアウトを、提案されたベイジアンTDNNフレームワークの特殊ケースとして再定式化する。
• ガウス過程に基づくTDNN変種（GP-TDNN2およびGP-TDNN3）を導入し、特に活性化関数の選択におけるニューラルアーキテクチャの不確実性をモデル化する。
• モデル学習および不確実性推定の両方において、共通の系列レベルMMI目的関数を用いることで最適化の一貫性を確保する。
• 包括的な評価のため、i-Vector適応、LHUC、RNNLMリスコアリングを含む標準的なASRパイプラインにフレームワークを適用する。

Figure 1: An example TDNN architecture with the option of using standard TDNN, Bayesian TDNN and Gaussian Process TDNN. In this example, the input dimension of all hidden nodes is assumed to be two. $w_{1}$ and $w_{2}$ are the corresponding weights for each input dimension of a hidden node. Conventi

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、フルベイジアンフレームワークがLF-MMIで訓練されたTDNNにおける過学習を効果的に低減できるか？
• RQ2 重み、活性化関数、隠れユニットの不確実性をモデル化することで、低データ環境下でのWERにどのような影響を与えるか？
• RQ3 最小限のサンプルで実行される変分推論が、標準TDNNと同等の性能を維持しながら不確実性を考慮した学習を可能にするか？
• RQ4 L2正則化、ドロップアウト、アンサンブル学習といった従来の正則化手法と比較して、提案されたベイジアンアプローチの一般化性能はどの程度優れているか？
• RQ5 特に微調整が制限された状況において、ベイジアンTDNNはどの程度クロスドメイン適応性能を向上させられるか？

主な発見

• 提案されたベイジアンTDNNシステムは、900時間のスピードペチュアドSwitchboardベースライン（最先端）に対して、統計的に有意な0.4%〜1.8%の絶対的WER低減（相対で5%〜11%）を達成した。
• 450時間のHKUST中国語コーパスにおいても、一貫したWER改善が観察され、言語およびドメインを越えた一般化性が裏付けられた。
• LibriSpeech（1000時間）からDementiaBank（10時間）への挑戦的なクロスドメイン適応タスクにおいて、直接微調整した場合に比べて1.1%の絶対的WER低減を達成し、性能を上回った。
• GP-TDNN変種は、特に最適な活性化関数の選択におけるニューラルアーキテクチャの不確実性をモデル化できる能力を示し、従来手法にない独自の利点を有した。
• 複数の正則化手法、データ拡張、話者適応、RNNLMリスコアリングを用いた最先端システムと比較して、ベイジアンフレームワークは一貫して優れた性能を発揮した。
• 最小限のパrameterサンプルで効率的な変分推論を採用したため、ベイジアンシステムの計算コストはベースラインTDNNと同等の水準を維持した。

Figure 2: An example Variational TDNN. Note that the output vector of $l$ -th layer $\mathbf{h}_{t}^{l}$ is used as the input of the inference network $\Phi^{Infer}$ and prior network $\Phi^{Prior}$ to calculate the mean and variance of the latent variable variational and prior distributions respect