[論文レビュー] Structure Learning of Probabilistic Graphical Models: A Comprehensive Survey

Yang Zhou|arXiv (Cornell University)|Nov 29, 2011

Bayesian Modeling and Causal Inference参考文献 105被引用数 19

ひとこと要約

本包括的サーベイは、確率的グラフィカルモデルの構造学習アルゴリズムについて体系的なレビューを提供し、制約に基づく、スコアに基づく、回帰に基づく、ハイブリッド、その他の手法に分類する。主な技術、理論的基盤、および性能比較を詳細に記述し、機械学習、統計、データサイエンス分野の研究者が、データから複雑な依存関係をモデル化するための統合的リファレンスを提供する。

ABSTRACT

Probabilistic graphical models combine the graph theory and probability theory to give a multivariate statistical modeling. They provide a unified description of uncertainty using probability and complexity using the graphical model. Especially, graphical models provide the following several useful properties: - Graphical models provide a simple and intuitive interpretation of the structures of probabilistic models. On the other hand, they can be used to design and motivate new models. - Graphical models provide additional insights into the properties of the model, including the conditional independence properties. - Complex computations which are required to perform inference and learning in sophisticated models can be expressed in terms of graphical manipulations, in which the underlying mathematical expressions are carried along implicitly. The graphical models have been applied to a large number of fields, including bioinformatics, social science, control theory, image processing, marketing analysis, among others. However, structure learning for graphical models remains an open challenge, since one must cope with a combinatorial search over the space of all possible structures. In this paper, we present a comprehensive survey of the existing structure learning algorithms.

研究の動機と目的

• 確率的グラフィカルモデルの構造学習アルゴリズムの統合的かつ詳細なレビューを提供すること。
• 原則と性能に基づいて、制約に基づく、スコアに基づく、回帰に基づく、ハイブリッド、およびその他の手法を分類・比較すること。
• モデル構造を理解する上で不可欠な、条件付き独立性、マルコフ・ブラケット、および要因分解定理などの理論的基盤を明確にすること。
• 構造学習における実用的課題、例えば組み合わせ的爆発やモデル選択の問題を強調し、それに対する解決策を要約すること。
• 機械学習、バイオインフォマティクス、データサイエンス分野で依存関係モデリングや確率的推論に取り組む研究者にとってのリファレンスとして機能すること。

提案手法

• 構造学習を5つの主要カテゴリに分類する：制約に基づく、スコアに基づく、回帰に基づく、ハイブリッド、その他のアルゴリズム。
• 条件付き独立性検定を用いてスケルトンを学習し、エッジの向きを決定するSGS、PC、GSアルゴリズムなどの制約に基づく手法を詳細に記述する。
• MDL、BDe、BICなどの指標を用いてDAG構造を評価し、勾配上昇法や全探索を用いて探索するスコアに基づく手法をレビューする。
• L1正則化（L1MB）、尤度、精度行列を目的関数として用いる回帰に基づく手法を説明し、変数選択問題として構造学習を定式化する。
• 制約に基づくスケルトン学習とスコアに基づく勾配上昇法を組み合わせたハイブリッドアルゴリズムMMHCを説明し、効率性と正確性の向上を示す。
• クラスタリング（相関、距離、相互情報量に基づく）、ブールモデル、情報理論的アプローチ（例：データ処理不等式）、行列分解（SVD、NMF、NCA）を含む代替手法を議論する。

実験結果

リサーチクエスチョン

• RQ1 PCやGSなどの制約に基づくアルゴリズムは、条件付き独立性検定を用いてどのようにグラフィカルモデルの構造を推論するか？
• RQ2 MDL、BDe、BICを用いたスコアに基づく手法がDAG空間を探索する際の相対的な長所と短所は何か？
• RQ3 特にL1正則化モデルを用いた回帰に基づく手法は、どのようにしてマーチン・ブラケットを効率的に特定し、ネットワーク構造を推論するか？
• RQ4 MMHCのようなハイブリッドアルゴリズムは、純粋な制約に基づくまたはスコアに基づく手法と比較して、正確性とスケーラビリティの面でどのように向上を図るか？
• RQ5 高次元データにおける情報理論的および行列分解技術を構造学習に適用する際の理論的および実用的課題は何か？

主な発見

• PCアルゴリズムは、反復的な条件付き独立性テストを実行し、エッジを削除することでベイジアンネットワークのスケルトンを効率的に学習し、計算複雑性を低減する。
• MMHCアルゴリズムは、Max-Min Parents and Children（MMPC）アルゴリズムを用いてスケルトンを学習し、その制約のもとで勾配上昇法を実行することで高い正確性を達成する。
• L1正則化回帰（L1MB）は、特に高次元設定において計算コストの高い探索を置き換え、マーチン・ブラケットを効果的に特定する。
• 相互情報量とデータ処理不等式を用いた情報理論的アプローチは直接相互作用を検出可能だが、エッジの削除順序に敏感であり、小さなサイクルに限定される。
• SVDやNMFなどの行列分解技術は、遺伝子発現データにおける潜在的構造を明らかにし、次元削減を伴ってレギュラトリーネットワークを再構築可能である。
• MMHCやL1MBに基づく探索のようなハイブリッド手法は、ベンチマークデータセットにおいて、純粋な制約に基づくまたはスコアに基づく手法よりも、スピードと正確性の両面で優れている。