[論文レビュー] Learning Factor Graphs in Polynomial Time & Sample Complexity

Pieter Abbeel, Daphne Koller+1 more|arXiv (Cornell University)|Jul 26, 2005

Bayesian Modeling and Causal Inference参考文献 25被引用数 10

ひとこと要約

本稿では、要因のサイズと接続性が有界である因子グラフを学習するための、初めての多項式時間かつ多項式サンプル複雑性を持つアルゴリズムを提示する。本手法は、困難な推論を回避するための新規な正準パラメータ化を用いる。これにより、ベイジアンネットワークおよびマルコフネットワークの両方における効率的なパラメータ推定と構造学習が可能となり、特に推論が困難な場合でも、データがそのようなモデルから生成された場合に真の分布とのKLダイバージェンスが低くなることが保証される。

ABSTRACT

We study computational and sample complexity of parameter and structure learning in graphical models. Our main result shows that the class of factor graphs with bounded factor size and bounded connectivity can be learned in polynomial time and polynomial number of samples, assuming that the data is generated by a network in this class. This result covers both parameter estimation for a known network structure and structure learning. It implies as a corollary that we can learn factor graphs for both Bayesian networks and Markov networks of bounded degree, in polynomial time and sample complexity. Unlike maximum likelihood estimation, our method does not require inference in the underlying network, and so applies to networks where inference is intractable. We also show that the error of our learned model degrades gracefully when the generating distribution is not a member of the target class of networks.

研究の動機と目的

• 現実的な構造的制約下で、計算的かつ統計的に効率的な因子グラフの学習アルゴリズムを開発すること。
• 標準的な推論が困難である無向グラフィカルモデルにおける学習の課題に取り組むこと。
• パラメータ推定および構造学習の両方におけるサンプル複雑性と計算複雑性に関する理論的保証を提供すること。
• 真の分布が正確にターゲットクラスのモデルに含まれない場合でも、滑らかに劣化するように保証すること。

提案手法

• 要因レベルにおけるギブス分布の洗練された正準パラメータ化を提案し、閉形式でのパラメータ推定を可能にする。
• 各変数の近似マーケットブルークを特定するために、経験的エントロピー推定値を用いる。
• 有界サイズkおよびbまでの一連の候補要因およびマーケットブルークについて、全探索を実行する。
• 経験的推定値に基づいて、最も関連性の高い要因を選択するために動的計画法を適用する。
• 正準パラメータ化の正しさを保証するために、要因レベルでのハマーслиー＝クライフォード定理を用いる。
• 統計的一致性を可能にするために、固定された正準代入値¯xを用いて正準要因推定値を計算する。

実験結果

リサーチクエスチョン

• RQ1 要因サイズと接続性が有界である因子グラフは、多項式時間および多項式サンプル複雑性で学習可能か？
• RQ2 提案手法は、学習中に困難な推論手順に依存しないか？
• RQ3 真の分布がターゲットモデルクラスに正確に含まれない場合、アルゴリズムの性能はいかがなるか？
• RQ4 構造とパラメータを同時に学習可能であり、理論的保証が得られるか？
• RQ5 ネットワーク内の変数数に依存するサンプル複雑性の依存関係は何か？

主な発見

• 提案手法は、要因サイズと接続性が有界である因子グラフの学習において、多項式時間および多項式サンプル複雑性を達成する。
• データがターゲットクラスのモデルから生成された場合、真の分布とのKLダイバージェンスが低くなることが保証される。
• 生成分布が正確にターゲットクラスに含まれない場合、アルゴリズムは滑らかに劣化し、妥当な近似を返す。
• 有界ファンインモデルでは、サンプル複雑性がネットワーク内の変数数に依存せず、O(1)の依存関係を達成する。
• 本手法はベイジアンネットワークおよびマルコフネットワークの両方へ適用可能であり、グリッドのような推論が困難なモデルにも適用可能である。
• 理論的枠組みは、全探索を回避し、データ効率を向上させる実用的アルゴリズムの開発の基盤を提供する。