[論文レビュー] Gaussian Process Networks

Nir Friedman, Iftach Nachman|arXiv (Cornell University)|Jan 16, 2013

Gaussian Processes and Bayesian Inference参考文献 29被引用数 59

ひとこと要約

この論文は、連続変数ドメインにおけるベイジアン構造学習のための新しい確率的グラフィカルモデルであるガウス過程ネットワーク（GPNs）を紹介する。ガウス過程の事前分布を用いることで、GPNsは周辺尤度の正確な計算を可能にし、原理的でベイジアンスコアリングに基づく、複雑な非線形関数的依存関係の効率的同定を可能にする。

ABSTRACT

In this paper we address the problem of learning the structure of a Bayesian network in domains with continuous variables. This task requires a procedure for comparing different candidate structures. In the Bayesian framework, this is done by evaluating the {em marginal likelihood/} of the data given a candidate structure. This term can be computed in closed-form for standard parametric families (e.g., Gaussians), and can be approximated, at some computational cost, for some semi-parametric families (e.g., mixtures of Gaussians). We present a new family of continuous variable probabilistic networks that are based on {em Gaussian Process/} priors. These priors are semi-parametric in nature and can learn almost arbitrary noisy functional relations. Using these priors, we can directly compute marginal likelihoods for structure learning. The resulting method can discover a wide range of functional dependencies in multivariate data. We develop the Bayesian score of Gaussian Process Networks and describe how to learn them from data. We present empirical results on artificial data as well as on real-life domains with non-linear dependencies.

研究の動機と目的

• 従来のパラメトリックモデルが複雑な関数的関係を捉えきれない連続変数を有するベイジアンネットワークにおける構造学習の課題に対処すること。
• 標準的なパラメトリック族（例：ガウス分布）や半パラメトリックモデル（例：ガウス混合）が構造比較のための周辺尤度を計算する際の制限を克服すること。
• 多変量データにおける任意のノイズを含む関数的関係をモデル化できる柔軟で半パラメトリックなフレームワークを開発すること。
• ガウス過程の事前分布を用いて周辺尤度の正確な計算を可能にし、原理的なベイジアンモデルスコアリングと選択を促進すること。
• 現実世界および合成データセットにおける非線形依存関係の発見にスケーラブルで理論的裏付けのある手法を提供すること。

提案手法

• 連続変数を対象としたガウス過程の事前分布に基づく新しい確率的ネットワーク族を導入し、関数的依存関係の非パラメトリックモデル化を可能にする。
• ガウス過程の共役性の性質を活用して、GPN構造下でのデータの周辺尤度を導出し、構造学習のためのベイジアンスコアを定式化する。
• 周辺尤度をスコア関数として用いて、候補となるネットワーク構造同士を比較・選択し、ベイジアンモデル選択の原則に整合する。
• 人工的および現実世界のデータセットにこの手法を適用し、特定のパラメトリック形式を仮定せずに、複雑な非線形関係を学習できることを示す。
• ガウス過程の事後分布の完全条件付き分布を活用して、ネットワーク全体にわたる不確実性を伝搬させ、モンテカルロ近似を用いずに正確な尤度を計算する。
• GPに基づくスコアリングを構造学習アルゴリズムに統合し、計算の tractability を保ちながらグラフィカル構造の探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程の事前分布を用いて、連続変数を有するベイジアンネットワークにおける構造学習の完全なベイジアン枠組みを定義できるか？
• RQ2 GPの事前分布の使用により、他の半パラメトリックモデルで用いられる高コストな近似を避ける周辺尤度の正確な計算が可能になるか？
• RQ3 GPNsは多変量データにおける複雑で非線形な関数的依存関係を効果的に発見・表現できるか？
• RQ4 構造回復精度と予測精度の観点から、GPNsは標準的なパラメトリックモデルおよび半パラメトリックモデルと比較してどのように性能を発揮するか？
• RQ5 提案手法は、非線形依存関係を有する現実世界のデータにおいてスケーラブルでノイズに強く、安定した性能を示すか？

主な発見

• 提案されたガウス過程ネットワークフレームワークにより、連続変数を有するベイジアンネットワークにおける周辺尤度の正確な計算が可能となり、モンテカルロ近似の必要がなくなる。
• GPNsは多変量データにおける任意のノイズを含む関数的関係を効果的にモデル化し、非線形依存関係を捉える強力な能力を示している。
• 人工データに対する実証的評価では、高ノイズ下でも真の関数的構造を正確に回復できることを示している。
• 非線形依存関係を有する現実の分野において、GPNsは標準的なガウスネットワークや他のパラメトリックモデルよりも構造学習の精度で優れている。
• 正確な周辺尤度に基づく原理的なベイジアンスコアリングメカニズムを維持しながら、競争力のある予測性能を達成している。
• フレームワークは頑健で汎用性が高く、多様なデータ分布および関数的形態において一貫した性能を示している。