[論文レビュー] Update Rules for Parameter Estimation in Bayesian Networks

Eric Bauer, Daphne Koller+1 more|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 10被引用数 39

ひとこと要約

本稿では、欠損データや隠れ変数を含むベイジアンネットワークにおけるパrameter推定のための統一的フレームワークを提案する。オンライン学習とバッチ学習の手法を統合し、新たな更新則を提案。特に、標準的なEMアルゴリズムよりも高速に最尤推定に収束するパrameter化されたEMアルゴリズムを含む。

ABSTRACT

This paper re-examines the problem of parameter estimation in Bayesian networks with missing values and hidden variables from the perspective of recent work in on-line learning [Kivinen & Warmuth, 1994]. We provide a unified framework for parameter estimation that encompasses both on-line learning, where the model is continuously adapted to new data cases as they arrive, and the more traditional batch learning, where a pre-accumulated set of samples is used in a one-time model selection process. In the batch case, our framework encompasses both the gradient projection algorithm and the EM algorithm for Bayesian networks. The framework also leads to new on-line and batch parameter update schemes, including a parameterized version of EM. We provide both empirical and theoretical results indicating that parameterized EM allows faster convergence to the maximum likelihood parameters than does standard EM.

研究の動機と目的

• データが不完全である、または隠れ変数を含む状況におけるベイジアンネットワークのパrameter推定の課題に対処すること。
• パrameter更新のためのオンライン学習とバッチ学習のアプローチを、単一の数学的枠組みで統合すること。
• リアルタイムおよびオフライン学習の両環境において、効率的かつスケーラブルな新しいパrameter更新則を開発すること。
• ベイジアンネットワークにおける最尤推定のためのEMアルゴリズムの収束速度を向上させること。
• 提案されたパrameter化されたEMの変種の有効性を理論的および実証的に裏付けること。

提案手法

• オンライン学習の原則、特にKivinen & Warmuth (1994) の研究を応用して、パrameter推定を最適化問題として再定式化すること。
• 勾配投影法とEMアルゴリズムの両方を一般化する共通の形式主義下で更新則を導出すること。
• 反復処理中に学習率を動的に調整する、パrameter化されたEMアルゴリズムを導入すること。
• フレームワークをオンライン学習（継続的なデータ到着）およびバッチ学習（事前に収集されたデータセット）の両方へ適用すること。
• 局所勾配と十分統計量に基づいてパラメータを更新する統一された更新則を用いること。
• 更新則がEMの単調改善性を維持しつつ、収束を加速することを保証すること。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習とバッチ学習におけるベイジアンネットワークのパrameter推定を、単一のフレームワークで統合することは可能か？
• RQ2 収束速度という観点から、パrameter化されたEMが標準的なEMに比べて理論的・実証的にどのような利点を有するか？
• RQ3 提案された更新則は、EMの収束保証を維持しながら効率性を向上させることができるか？
• RQ4 新しい更新則は、欠損データや隠れ変数を含む実世界のデータに対してどのように性能を発揮するか？
• RQ5 EMフレームワーク内での適応的学習率の影響は何か？

主な発見

• 提案されたフレームワークは、ベイジアンネットワークにおけるパrameter推定のオンライン学習とバッチ学習を成功裏に統合した。
• パrameter化されたEMアルゴリズムは、標準的なEMよりも顕著に高速に最尤パラメータに収束した。
• 理論的分析により、新しい更新則がEMの単調改善性を保持していることが確認された。
• 実証的結果から、欠損データを含むベンチマークデータセットにおいても収束が速いことが示された。
• フレームワークは勾配投影法とEMの両方を一般化し、学習環境の多様性に応じた広範な適用性を示した。
• パrameter化されたEMの変種は、反復回数を削減しながらも安定性と収束性を維持した。