[論文レビュー] Learning Bayesian Networks: The Combination of Knowledge and Statistical Data

David Heckerman, Dan Geiger+1 more|arXiv (Cornell University)|Feb 27, 2013

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

この論文では、スコアリング指標と探索手順を用いて、ユーザーが提供する事前知識と統計的データを統合することでベイジアンネットワークを学習するフレームワークを提示する。主な貢献は、イベント同等性とパラメータモジュラリティの同定であり、これによりユーザーは単一のベイジアンネットワークを用いて事前知識を効率的にエンコードできる。さらに、木構造に制限されたネットワークに対して多項式時間の解法を含む効率的なアルゴリズムの開発により、正確でスケーラブルな構造学習が可能になる。

ABSTRACT

We describe algorithms for learning Bayesian networks from a combination of user knowledge and statistical data. The algorithms have two components: a scoring metric and a search procedure. The scoring metric takes a network structure, statistical data, and a user's prior knowledge, and returns a score proportional to the posterior probability of the network structure given the data. The search procedure generates networks for evaluation by the scoring metric. Our contributions are threefold. First, we identify two important properties of metrics, which we call event equivalence and parameter modularity. These properties have been mostly ignored, but when combined, greatly simplify the encoding of a user's prior knowledge. In particular, a user can express her knowledge-for the most part-as a single prior Bayesian network for the domain. Second, we describe local search and annealing algorithms to be used in conjunction with scoring metrics. In the special case where each node has at most one parent, we show that heuristic search can be replaced with a polynomial algorithm to identify the networks with the highest score. Third, we describe a methodology for evaluating Bayesian-network learning algorithms. We apply this approach to a comparison of metrics and search procedures.

研究の動機と目的

• 専門家の知識と統計的データを統合して、ベイジアンネットワーク構造を学習する原理的かつ整合的な手法を開発すること。
• 事前知識のエンコーディングを簡素化するスコアリング指標の望ましい性質（イベント同等性とパラメータモジュラリティ）を同定すること。
• 効率的な探索アルゴリズムを設計すること。特に、各ノードに高々1つの親が存在する場合の多項式時間解法を含む。
• スコアリング指標と探索手順の性能に基づいて、異なる学習アルゴリズムを評価・比較するための手法を提供すること。

提案手法

• アプローチは、データと事前知識を前提として、ネットワーク構造の事後確率を計算するスコアリング指標を用いる。
• スコアリング指標は、イベント同等性とパラメータモジュラリティを満たすように設計されており、ユーザーの知識の一貫性と効率的なエンコーディングを保証する。
• 可能なネットワーク構造の空間を探索するために、局所探索とシミュレーテッド・アニーリング手順が用いられる。
• 特に、各ノードに高々1つの親を持つ場合（ポリツリー）、最高スコアの構造を求める多項式時間アルゴリズムが導出される。
• フレームワークにより、ユーザーは単一の事前ベイジアンネットワークとして事前知識を表現でき、複雑さが著しく低減される。
• 異なるスコアリング指標と探索戦略を比較するための体系的な評価手法が提案される。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、専門家の事前知識をベイジアンネットワーク構造学習において効果的かつ効率的にエンコードできるか？
• RQ2 知識とデータを統合する際、スコアリング指標のどのような性質が一貫性とスケーラビリティを保証するか？
• RQ3 構造がポリツリーに制限される場合、効率的なアルゴリズムを開発できるか？
• RQ4 スコアリング指標と探索手順は、正確性と計算効率の観点でどのように比較できるか？
• RQ5 ベイジアンネットワーク学習アルゴリズムを評価するための信頼性のある手法は何か？

主な発見

• スコアリング指標におけるイベント同等性とパラメータモジュラリティのおかげで、ユーザーは単一の事前ベイジアンネットワークとして事前知識をエンコードでき、知識の抽出が著しく簡素化される。
• 提案されたスコアリング指標により、同等のネットワーク構造が同じスコアを獲得するよう保証され、学習における一貫性が向上する。
• 各ノードに高々1つの親が存在するネットワーク（ポリツリー）の場合、最高スコアの構造を多項式時間で特定でき、ヒューリスティック探索なしに正確な学習が可能になる。
• 局所探索とシミュレーテッド・アニーリングは、正確な探索が非効率な一般のネットワーク構造において、効果的なヒューリスティクスを提供する。
• 評価手法により、スコアリング指標と探索手順の体系的比較が可能となり、学習アルゴリズムの実証的妥当性が支援される。
• 知識とデータの統合により、データが限られている状況でも、より正確で頑健なネットワーク構造が得られるようになる。