[論文レビュー] Efficient Algorithms for Bayesian Network Parameter Learning from Incomplete Data

Guy Van den Broeck, Karthika Mohan+2 more|arXiv (Cornell University)|Nov 25, 2014

Bayesian Modeling and Causal Inference参考文献 26被引用数 20

ひとこと要約

本稿では、MCARおよびMAR欠落メカニズム下で不完全データからベイジアンネットワークのパラメータを学習する非反復的・推論フリーなアルゴリズム族を提案する。一般化された欠落グラフフレームワークを活用することで、一度のデータ走査で一貫性があり閉形式のパラメータ推定値を計算可能となり、EM法と比較して数個のオーダーの高速化を達成しながら、大規模データセットにおいても正確性を維持または向上させる。

ABSTRACT

We propose an efficient family of algorithms to learn the parameters of a Bayesian network from incomplete data. In contrast to textbook approaches such as EM and the gradient method, our approach is non-iterative, yields closed form parameter estimates, and eliminates the need for inference in a Bayesian network. Our approach provides consistent parameter estimates for missing data problems that are MCAR, MAR, and in some cases, MNAR. Empirically, our approach is orders of magnitude faster than EM (as our approach requires no inference). Given sufficient data, we learn parameters that can be orders of magnitude more accurate.

研究の動機と目的

• 不完全データからのベイジアンネットワークパラメータ学習におけるEM法や勾配ベース最適化といった反復的手法のスケーラビリティおよび計算非効率性を解決すること。
• 高木幅や複雑な構造を持つベイジアンネットワークにおいて、パラメータ学習時に推論を必要としないため、計算が困難になる問題を回避すること。
• 反復的最適化や複数回の再起動を必要とせず、MCARおよびMAR欠落仮定下で一貫性のあるパラメータ推定値を提供すること。
• EM法が計算制限により失敗するような大規模データセットや複雑なネットワークに対しても、実用的でスケーラブルなパラメータ学習を可能にすること。
• EM法の代替として、効率的で頑健な代替手法を提供することで、ベイジアンネットワークの不完全データへの適用範囲を拡張すること。

提案手法

• 欠落メカニズムを表現する、最も一般かつコミットメントが最小限の欠落グラフを用い、MCARおよびMAR仮定を歪みのない形で捉える。
• 先行研究の閉形式同定フレームワークを応用し、推論を回避して観測データから直接的にパラメータ推定式を導出する。
• 欠落値を存在しないものとして扱い、データを一度の走査で最大尤度推定値を閉形式で計算するアルゴリズムを構築する。
• 欠落グラフ内の条件付き独立構造を活用して、データからより多くの情報を要因分解し、推定の効率を向上させる。
• 追加の欠落メカニズムに関する情報が利用可能な場合、特定のMNARケースに対しても拡張可能であり、収束性と正確性が向上する。
• 反復的最適化を完全に回避するため、EM法や勾配ベース手法に見られる局所最適解の問題が生じない。

実験結果

リサーチクエスチョン

• RQ1 反復的推論や最適化を伴わず、不完全データから一貫性のあるベイジアンネットワークパラメータ推定が可能か？
• RQ2 MCARおよびMAR仮定下で、計算的に効率的かつ統計的に一貫性のある非反復的・閉形式のパラメータ推定法を開発可能か？
• RQ3 大規模または複雑なデータセットにおいて、EM法や勾配ベース手法と比較して、本手法の速度、正確性、スケーラビリティはどのように異なるか？
• RQ4 欠落プロセスに関する補助情報が利用可能な場合、本手法はどの程度MNARメカニズムに対しても拡張可能か？
• RQ5 本手法は、不完全データを含む実世界の応用においてEM法の実用的で即座に置き換え可能な代替手段として利用可能か？

主な発見

• 本手法はEM法と比較して数個のオーダーの高速化を達成し、反復的推論ステップが一切不要であるため、大規模データセットに適している。
• 高木幅の大きなネットワークでは、EM-JTおよびEM-BPが25分の制限時間内に1回のEM反復ですら完了できなかったが、本手法のD-MARおよびF-MARは効果的にスケーリングした。
• より大きなデータセットでは、F-MAR手法が最良の尤度スコア（太字）を達成し、近似推論を用いるEM-BPを上回る正確性を示した。
• MCARおよびMAR仮定下で一貫性のあるパラメータ推定値を生成し、データサイズが増加するにつれて真のパラメータに収束する。
• 欠落が存在しない状況では、標準的な完全データ学習と同一の最大尤度推定値を回復するため、正しさが確認された。
• 欠落メカニズムが部分的にしか不明でない状況でも、特に欠落プロセスに関する追加の構造的情報を組み込むことで、本手法は頑健で正確なまま保たれる。