[論文レビュー] Best-first Model Merging for Hidden Markov Model Induction

Andreas Stolcke, Stephen M. Omohundro|ArXiv.org|May 10, 1994

Bayesian Modeling and Causal Inference参考文献 32被引用数 114

ひとこと要約

本論文は、小さな学習データセットにおいて Baum-Welch よりもロバストで正確な HMM の構造を誘導するためのベストファースト型モデルマージアルゴリズムを提案する。ベイジアン事後確率を用いて状態マージを誘導することで、複数発音語彙モデルの導入を可能にし、語誤り率を 28.1% 減少させ、実世界のシステムでコンパクトで一般化可能な HMM を得ることに成功した。

ABSTRACT

This report describes a new technique for inducing the structure of Hidden Markov Models from data which is based on the general `model merging' strategy (Omohundro 1992). The process begins with a maximum likelihood HMM that directly encodes the training data. Successively more general models are produced by merging HMM states. A Bayesian posterior probability criterion is used to determine which states to merge and when to stop generalizing. The procedure may be considered a heuristic search for the HMM structure with the highest posterior probability. We discuss a variety of possible priors for HMMs, as well as a number of approximations which improve the computational efficiency of the algorithm. We studied three applications to evaluate the procedure. The first compares the merging algorithm with the standard Baum-Welch approach in inducing simple finite-state languages from small, positive-only training samples. We found that the merging procedure is more robust and accurate, particularly with a small amount of training data. The second application uses labelled speech data from the TIMIT database to build compact, multiple-pronunciation word models that can be used in speech recognition. Finally, we describe how the algorithm was incorporated in an operational speech understanding system, where it is combined with neural network acoustic likelihood estimators to improve performance over single-pronunciation word models.

研究の動機と目的

• 標準の Baum-Welch 評価と比較して、限られた学習データからの HMM 構造誘導のためのよりロバストで正確な手法を開発すること。
• 小データ環境における過剰適合を回避するため、より単純で一般化性の高い HMM 構造を優先すること。
• 語誤り率の向上を図るため、コンパクトで複数発音を扱える語彙モデルを構築すること。
• ニューラル音声推定器を用いた実稼働スプーキー理解システムに HMM マージを統合すること。
• 実応用において、さまざまな事前分布と近似手法を用いたベイジアンモデルマージの有効性を評価すること。

提案手法

• 最大尤度 HMM から出発し、段階的に状態をマージすることで、徐々に一般化されたモデルを生成するベストファースト探索戦略を採用する。
• 尤度とモデルの複雑さのバランスを取るために、ベイジアン事後確率基準を用いて次のマージを決定する。
• 構造的およびパラメータ的事前分布を適用してモデルの複雑さを正則化し、特にオッカム要因と状態あたりの有効データ数に注目する。
• 計算効率を向上させるために、ビタビパス評価やグローバル事前分布重み付けなどの近似手法を実装する。
• マージされた密度を明示的に計算しないマージ演算子を導入し、スケーラビリティを向上させる。
• 完全なスプーキー理解システムにおいて、マージアルゴリズムとニューラルネットワーク音声尤度推定器を統合する。

実験結果

リサーチクエスチョン

• RQ1 小規模で正のラベルのみの学習データにおいて、モデルマージは Baum-Welch よりもより正確でロバストな HMM を得られるか？
• RQ2 異なる事前分布を用いたベイジアンモデルマージは、最適な HMM 構造の探索をどの程度効果的に導けるか？
• RQ3 マージによる複数発音モデル化は、語誤り率にどの程度の向上効果をもたらすか？
• RQ4 ニューラル音声モデルを搭載したリアルタイムスプーキー理解システムに、マージアルゴリズムを効率的に統合できるか？
• RQ5 事前の選択がマージ経路に顕著な影響を与えるか、それとも尤度とヒューリスティック探索がモデル構造の主な決定要因か？

主な発見

• 複数発音語彙モデルを用いたスプーキー認識システムにおいて、語誤り率が 40.6% から 32.1% に低下した。
• 単一発音ベースラインと比較して、複数発音モデルを用いることで、意味解釈誤り率が 43.4% から 34.1% に低下した。
• 小規模な学習データセットにおいて Baum-Welch を上回り、有限状態言語誘導においてより高いロバスト性と正確性を示した。
• 過剰適合を回避し、学習データを超えて一般化しやすいコンパクトで一般化可能な HMM を効果的に生成できた。
• 事前の選択がマージ経路にほとんど影響を与えないことが判明し、尤度と探索ヒューリスティックがモデル構造の主な駆動要因であることが示された。
• 実際のスプーキー理解システムに統合した結果、実用的で有効であることが実証され、実用的価値を示した。