[論文レビュー] Learning Belief Networks in Domains with Recursively Embedded Pseudo Independent Submodels

Jian Hu, Yang Xiang|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 7被引用数 11

ひとこと要約

本稿では、再帰的に入り組んだ擬似独立（PI）部分モデルを有するドメインにおける信念ネットワークの学習のための強化されたマルチリンク探索アルゴリズムを提案する。ここで、部分的な従属変数集合が周辺独立性を示す。検出をネストされたPI構造へと拡張することで、サイズ閾値までに制限されたすべてのPI部分モデルの正確な学習が保証され、従来の手法と比較して計算複雑性の増加は僅かに抑えられ、実験的評価によって裏付けられている。

ABSTRACT

A pseudo independent (PI) model is a probabilistic domain model (PDM) where proper subsets of a set of collectively dependent variables display marginal independence. PI models cannot be learned correctly by many algorithms that rely on a single link search. Earlier work on learning PI models has suggested a straightforward multi-link search algorithm. However, when a domain contains recursively embedded PI submodels, it may escape the detection of such an algorithm. In this paper, we propose an improved algorithm that ensures the learning of all embedded PI submodels whose sizes are upper bounded by a predetermined parameter. We show that this improved learning capability only increases the complexity slightly beyond that of the previous algorithm. The performance of the new algorithm is demonstrated through experiment.

研究の動機と目的

• 既存の信念ネットワーク学習アルゴリズムが再帰的に入り組んだ擬似独立（PI）部分モデルを検出できないという限界に対処すること。
• それらがより大きな従属変数集合内にネストされている場合でも、PI部分モデルを信頼性高く学習できる手法を開発すること。
• 従来のマルチリンク探索アルゴリズムを上回る検出能力を向上させつつ、計算効率を維持すること。
• ベンチマークドメインにおける実験的評価を通じて、改善されたアルゴリズムの有効性を示すこと。

提案手法

• 従来のマルチリンク探索アルゴリズムを拡張し、より大きな変数集合内に存在するPI部分モデルを再帰的に探索・検出する。
• ユーザーが定義したサイズ閾値までにPI部分モデルを同定する再帰的検出メカニズムを導入する。
• 変数集合の部分集合間における周辺独立性を検証するための条件付き独立性検定を採用し、PI構造検出の正しさを保証する。
• 探索深さを制限し、計算オーバーヘッドを低減するためのプルーニング戦略を実装し、効率性を維持する。
• 下位から上位への順序で変数依存性グラフを走査する階層的探索戦略を採用し、ネストされたPI構造を発見する。
• 制約に基づく学習から借用し、変換した技術を用いて、探索プロセスに再帰的構造発見を統合する。

実験結果

リサーチクエスチョン

• RQ1 既存の信念ネットワーク学習アルゴリズムは、再帰的に入り組んだ擬似独立部分モデルを検出できるか？
• RQ2 ネストされたまたは階層的な依存関係を扱うために、PI部分モデルの検出をどのように拡張できるか？
• RQ3 再帰的構造におけるPI部分モデルの検出能力を向上させた際の計算コストはどの程度か？
• RQ4 提案手法は、従来手法と比較して、どの程度学習精度を向上させるか？
• RQ5 強化された検出能力は、計算複雑性の著しい増加を伴うのか？

主な発見

• 提案手法は、事前に定義されたサイズ閾値までに、すべての再帰的に入り組んだPI部分モデルを正確に検出でき、従来の単一リンクおよび基本的なマルチリンク探索手法の限界を克服した。
• アルゴリズムの計算複雑性は、元のマルチリンク探索アルゴリズムをわずかに上回るにとどまり、実用的な効率性を維持している。
• 実験結果から、複雑でネストされたPI構造を有するドメインにおいて、学習精度の顕著な向上が確認された。
• 従来の手法では再帰的埋め込みのため検出されなかったPI部分モデルを、本手法は正確に同定することができた。
• 再帰的検出メカニズムにより、高い構造的複雑性と相互に依存する変数集合を有するドメインでも、頑健な学習が可能となった。