[論文レビュー] Maximum a Posteriori Adaptation of Network Parameters in Deep Models

Zhen Huang, Sabato Marco Siniscalchi+3 more|arXiv (Cornell University)|Mar 6, 2015

Speech Recognition and Synthesis参考文献 37被引用数 15

ひとこと要約

本稿では、限られた適応データ下でのパラメータ更新を安定化させるために拡張線形隠れ層（LHN）を用いた、文脈依存DNN-HMMシステムにおける深層ニューラルネットワーク（DNN）パラメータのベイジアン最大後確信度（MAP）適応フレームワークを提案する。この手法は、従来の変換ベースの適応および特徴空間MAP線形回帰を上回り、Wall Street Journal 20k語彙タスクで10%以上の相対的語誤り率（WER）低減を達成した。初期の結果として、階層的事前分布を用いることでデータ効率が向上した。

ABSTRACT

We present a Bayesian approach to adapting parameters of a well-trained context-dependent, deep-neural-network, hidden Markov model (CD-DNN-HMM) to improve automatic speech recognition performance. Given an abundance of DNN parameters but with only a limited amount of data, the effectiveness of the adapted DNN model can often be compromised. We formulate maximum a posteriori (MAP) adaptation of parameters of a specially designed CD-DNN-HMM with an augmented linear hidden networks connected to the output tied states, or senones, and compare it to feature space MAP linear regression previously proposed. Experimental evidences on the 20,000-word open vocabulary Wall Street Journal task demonstrate the feasibility of the proposed framework. In supervised adaptation, the proposed MAP adaptation approach provides more than 10% relative error reduction and consistently outperforms the conventional transformation based methods. Furthermore, we present an initial attempt to generate hierarchical priors to improve adaptation efficiency and effectiveness with limited adaptation data by exploiting similarities among senones.

研究の動機と目的

• 訓練時とテスト時の条件が不一致となる状況下でDNN-HMMシステムの性能劣化を是正すること、特に限られた適応データ下での性能劣化に焦点を当てる。
• ドメイン適応における深刻な忘却（catastrophic forgetting）を、ベイジアンパラメータ推定による事前知識の統合によって克服すること。
• センオン間の構造的類似性を活用することで、低リソースな適応状況における適応の効率性と有効性を向上させること。
• 従来のGMM-HMMで用いられていたベイジアン適応技術を、ハイブリッドASRシステムにおける深層ニューラルネットワークに拡張すること。
• センオンクラスタリングに基づく階層的事前分布を用いて、最小限の適応データ下でもパラメータ推定を改善することを検討すること。

提案手法

• 最終の非線形隠れ層の直後に、DNNパラメータ適応をモデル化するための拡張線形隠れ層（LHN）を導入する。
• LHN重みをガウス事前分布をもつ確率的変数として扱い、MAP推定を用いて正則化を実現し、過学習を低減する。
• LHN重みとその階層的親ノードの両方に、交差エントロピー損失とL2正則化項を組み合わせた共同目的関数を導出する。
• センオンを共有する発音的文脈に基づいてグループ化するための固定された2段階ツリー構造を採用し、センオン埋め込みに階層的事前分布を導入する。
• 各センオン埋め込みが親ノードの平均の周囲に条件付きで分布するとする階層的事前分布モデルを採用し、両レベルにガウス事前分布を割り当てる。
• 勾配降下法を用いてMAP目的関数を最適化し、適応中は主DNN重みを固定する。

実験結果

リサーチクエスチョン

• RQ1 LHNパラメータのベイジアンMAP適応は、限られた適応データ下でもDNN-HMMの性能向上をもたらすか？
• RQ2 MAPベースのLHN適応は、従来の変換ベースの手法や特徴空間MAP線形回帰手法と比較してどのように異なるか？
• RQ3 センオン構造に基づく階層的事前分布は、小さな適応データセット下でも適応効率を向上させるか？
• RQ4 階層的事前分布の使用は、DNN適応における過学習と深刻な忘却を低減するか？
• RQ5 センオン類似クラスタからの事前知識は、データが少ない状況下でのパラメータ推定を向上させるか？

主な発見

• 提案されたMAP LHN適応は、Wall Street Journal 20k語彙タスクにおいて、強力なスプーカー独立型CD-DNN-HMMベースラインと比較して10%以上の相対的語誤り率（WER）低減を達成した。
• MAP LHNは、教師あり適応設定下で、従来の変換ベースの適応手法および特徴空間MAP線形回帰と比較して一貫して優れた性能を示した。
• 適応文が5文のみの場合、階層的事前分布によりWERが8.54%（平坦な事前分布）から8.48%に低下し、データが乏しい状況下での初期の成功が示された。
• 適応文が10文の場合、WERは8.52%から8.45%に低下し、構造的事前分布による段階的利点が確認された。
• 階層的事前分布構造により、類似するセンオン間で統計的強度を共有することで、より安定したパラメータ更新が可能となり、過学習が低減された。
• 本手法は、ハイブリッドASRにおける大規模DNNへのベイジアンパラメータ推定の適用可能性を示し、特にデータが少ない適応状況において有効であることが確認された。