[論文レビュー] On Triangulating Dynamic Graphical Models

Jeff Bilmes, Chris Bartels|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用数 28

ひとこと要約

本稿では、動的グラフィカルモデル（DGM）および動的ベイジアンネットワーク（DBN）の三角形分割のための境界アルゴリズムを導入し、元の有向構造ではなく、道徳化された無向グラフを用いて問題を扱うことで、優れた消去順序を実現する。この手法により、標準的なスライス単位の手法を凌駕する最適な分割境界を特定することで、最大クリークサイズと状態空間の複雑さが顕著に低減され、従来は到達不可能とされてきた三角形分割の領域が解き放たれる。

ABSTRACT

This paper introduces new methodology to triangulate dynamic Bayesian networks (DBNs) and dynamic graphical models (DGMs). While most methods to triangulate such networks use some form of constrained elimination scheme based on properties of the underlying directed graph, we find it useful to view triangulation and elimination using properties only of the resulting undirected graph, obtained after the moralization step. We first briefly introduce the Graphical model toolkit (GMTK) and its notion of dynamic graphical models, one that slightly extends the standard notion of a DBN. We next introduce the 'boundary algorithm', a method to find the best boundary between partitions in a dynamic model. We find that using this algorithm, the notions of forward- and backward-interface become moot - namely, the size and fill-in of the best forward- and backward- interface are identical. Moreover, we observe that finding a good partition boundary allows for constrained elimination orders (and therefore graph triangulations) that are not possible using standard slice-by-slice constrained eliminations. More interestingly, with certain boundaries it is possible to obtain constrained elimination schemes that lie outside the space of possible triangulations using only unconstrained elimination. Lastly, we report triangulation results on invented graphs, standard DBNs from the literature, novel DBNs used in speech recognition research systems, and also random graphs. Using a number of different triangulation quality measures (max clique size, state-space, etc.), we find that with our boundary algorithm the triangulation quality can dramatically improve.

研究の動機と目的

• 動的グラフィカルモデル（DGM）および動的ベイジアンネットワーク（DBN）における三角形分割の質を向上させることを目的とし、標準的なスライス単位の消去順序を越えること。
• DBNにおける有向グラフ構造に基づく制約付き消去スキームの限界を解消すること。
• 三角形分割中にフィルインとクリークサイズを最小限に抑える最適な分割境界を特定すること。
• 境界ベースの手法が、制約なしまたは標準的な制約付き消去では到達できない三角形分割の領域にアクセスできることを示すこと。
• 合成的、標準的、および音声認識に基づくDBNを対象に、複数の三角形分割品質指標を用いて手法の評価を行うこと。

提案手法

• 動的モデル内の前方および後方インターフェース間の最適な分割境界を計算する境界アルゴリズムを提案する。
• 三角形分割問題を、道徳化後に得られる無向グラフにのみ基づいて取り扱い、元の有向構造は無視する。
• 従来の前方・後方インターフェースの概念を統一的な境界ベースのアプローチに置き換え、最適な分割においてそれらのサイズとフィルインが同一であることを示す。
• 境界を用いて、標準的なスライス単位の消去では不可能な制約付き消去順序を定義する。
• 発明されたグラフ、標準的なDBN、音声認識から得た新規DBN、およびランダムグラフのさまざまなグラフタイプにこの手法を適用する。
• 最大クリークサイズや状態空間の複雑さといった複数の三角形分割品質指標を用いて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 境界ベースの三角形分割アプローチは、動的グラフィカルモデルにおける標準的なスライス単位の制約付き消去を上回ることができるか？
• RQ2 境界アルゴリズムは、制約なし消去では到達できない消去順序を可能にするか？
• RQ3 境界アルゴリズムは、DBNおよびDGMにおいて最大クリークサイズと状態空間の複雑さをどの程度低減できるか？
• RQ4 境界アルゴリズムは、音声認識モデルやランダムグラフを含む多様なグラフタイプにおいて、どの程度の性能を示すか？
• RQ5 最適な分割を用いる場合、前方および後方インターフェースの区別は意味を持つのか？

主な発見

• 境界アルゴリズムは、標準的なスライス単位の手法に比べて顕著に優れた三角形分割の質を達成し、最大クリークサイズと状態空間の複雑さが測定可能なほど低減される。
• この手法により、制約なしまたは標準的な制約付き消去では到達できない制約付き消去スキームが可能になり、三角形分割の可能な領域が拡大される。
• 最適な境界分割において、最良の前方および後方インターフェースのサイズとフィルインは同一であり、それらの区別は意味を失う。
• 文献に登録された標準的なDBNおよび新規の音声認識モデルにおいて、境界アルゴリズムは一貫して最大クリークサイズと状態空間要件を低減する。
• 特に複雑なモデル、たとえば音声認識から得られるモデルでは、三角形分割の質の向上が顕著であり、状態空間の複雑さが著しく低減される。
• 本手法は、発明されたグラフ、ランダムグラフ、および実世界のDBNにおいても強固な性能を示し、一般化の可能性を確認する。