[論文レビュー] Dynamic Bayesian Multinets

Jeff Bilmes|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 24被引用数 126

ひとこと要約

本論文は、時系列データにおける局所的時間的条件付き独立構造を定義するためにマルコフ連鎖の状態を用いる、判別的モデリング枠組みである動的ベイジアンマルチネットを提案する。情報理論的基準と新規の構造学習ヒューリスティックを適用することで、スパースでクラスに条件づけられたネットワークが学習され、中規模語彙の離散語音声認識タスクにおいてHMMや標準的な動的ベイジアンネットワークを上回る分類精度を達成し、同等のパラメータ数で優れた性能を発揮する。

ABSTRACT

In this work, dynamic Bayesian multinets are introduced where a Markov chain state at time t determines conditional independence patterns between random variables lying within a local time window surrounding t. It is shown how information-theoretic criterion functions can be used to induce sparse, discriminative, and class-conditional network structures that yield an optimal approximation to the class posterior probability, and therefore are useful for the classification task. Using a new structure learning heuristic, the resulting models are tested on a medium-vocabulary isolated-word speech recognition task. It is demonstrated that these discriminatively structured dynamic Bayesian multinets, when trained in a maximum likelihood setting using EM, can outperform both HMMs and other dynamic Bayesian networks with a similar number of parameters.

研究の動機と目的

• 時系列データにおける局所的時間的依存関係を捉える判別的で動的なグラフィカルモデルの開発。
• 情報理論的基準を用いてスパースでクラスに条件づけられたネットワーク構造を可能にし、分類性能の向上を図ること。
• HMMや標準的な動的ベイジアンネットワークのスケーラブルな代替手段を提供し、同等のパラメータ数を維持すること。
• 実世界の離散語音声認識タスクにおけるモデルの性能を評価すること。

提案手法

• モデルは、各時刻 t の周辺における時間的局所的条件付き独立構造を定義するためにマルコフ連鎖を用いる。
• 条件付き独立構造は、時刻 t における隠れマルコフ連鎖の状態によって決定される。
• 情報理論的基準関数（例：相互情報量）が、スパースで判別的なネットワーク構造の学習を導く。
• クラスの事後確率近似の最適化を目的とした、新しい構造学習ヒューリスティックが提案される。
• 時系列データ上でEMアルゴリズムを用いた最尤推定によりモデルが学習される。
• 得られた動的ベイジアンマルチネットは、中規模語彙の離散語音声認識タスクに適用される。

実験結果

リサーチクエスチョン

• RQ1 時間的局所的条件付き独立構造を持つ動的ベイジアンネットワークは、時系列データにおける分類性能を向上させることができるか？
• RQ2 情報理論的基準は、動的設定下でスパースで判別的なネットワーク構造の学習を効果的に導けるか？
• RQ3 パラメータ数が類似する場合、判別的に構造化された動的ベイジアンマルチネットの性能はHMMや標準的なDBNと比べてどうなるか？
• RQ4 提案された構造学習ヒューリスティックは、クラス事後確率のより良い近似を達成できるか？

主な発見

• 提案された動的ベイジアンマルチネットは、同程度のパラメータ数を持つHMMおよび他の動的ベイジアンネットワークを、離散語音声認識タスクにおいて上回る。
• 判別的に構造化されたモデルは、クラス事後確率へのより良い近似を達成し、分類性能の向上に寄与する。
• 情報理論的基準の使用により、スパースでクラスに条件づけられたネットワーク構造が得られ、時系列分類に有効であることが示された。
• 新規の構造学習ヒューリスティックは、与えられたタスクに最適なネットワークトポロジを効果的に同定した。