[論文レビュー] Bayesian Error-Bars for Belief Net Inference

Tim Van Allen, Russell Greiner+1 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 20被引用数 18

ひとこと要約

本稿では、パラメータの不確実性を確率変数としてモデル化することで、ベイジアンネットワークにおける確率的クエリのベイジアン誤差帯を計算する手法を提案する。クエリ応答分散の漸近的正規性を導出し、平均推論と同一の複雑度であるO(n 2^w)の効率的アルゴリズムを提示し、小規模なサンプル上で実証的に検証された。

ABSTRACT

A Bayesian Belief Network (BN) is a model of a joint distribution over a setof n variables, with a DAG structure to represent the immediate dependenciesbetween the variables, and a set of parameters (aka CPTables) to represent thelocal conditional probabilities of a node, given each assignment to itsparents. In many situations, these parameters are themselves random variables - this may reflect the uncertainty of the domain expert, or may come from atraining sample used to estimate the parameter values. The distribution overthese "CPtable variables" induces a distribution over the response the BNwill return to any "What is Pr(H | E)?" query. This paper investigates thevariance of this response, showing first that it is asymptotically normal,then providing its mean and asymptotical variance. We then present aneffective general algorithm for computing this variance, which has the samecomplexity as simply computing the (mean value of) the response itself - ie,O(n 2^w), where n is the number of variables and w is the effective treewidth. Finally, we provide empirical evidence that this algorithm, whichincorporates assumptions and approximations, works effectively in practice,given only small samples.

研究の動機と目的

• ベイジアンネットワークの確率的クエリにおける、CPテーブルパラメータの不確実性に起因する不確実性を定量化すること。
• CPテーブルパラメータを確率変数として扱った場合のクエリ応答の分布をモデル化すること。
• Pr(H|E)クエリの応答分散の漸近的分布を導出すること。
• 平均推論と同一の複雑度を持つ誤差帯を計算するための効率的アルゴリズムを開発すること。
• 小規模なトレーニングサンプルからの実証的証拠を用いて、手法の有効性を検証すること。

提案手法

• 専門家の推定値や小規模なトレーニングサンプルからのエピステミック的不確実性を表現するために、CPテーブルパラメータを確率変数として扱う。
• パラメータの不確実性下で、任意のPr(H|E)クエリの応答分布の漸近的正規性を導出する。
• 影響図とパストレース解析を用いて、クエリ応答の漸近的分散を計算する。
• 一般化されたアルゴリズムを適用し、O(n 2^w)時間で分散を計算し、平均推論と同一の複雑度を達成する。
• 実用性を確保しつつ正確性を維持するために、アルゴリズムで近似と仮定を採用する。
• 小規模なデータセットを用いた実証的評価により、手法を検証し、信頼性のある誤差帯推定を示した。

実験結果

リサーチクエスチョン

• RQ1 CPテーブルパラメータが不確実な場合、ベイジアンネットワーククエリの応答の分散はどのように振る舞うか？
• RQ2 顕著な計算コストの増加を伴わずに、応答分散を効率的に計算できるか？
• RQ3 パラメータの不確実性下で、クエリ応答の分布は漸近的に正規的か？
• RQ4 小規模なトレーニングサンプルしか利用できない場合、計算された誤差帯の精度はどの程度か？
• RQ5 提案されたアルゴリズムは、推論における意味のある不確実性を捉えると同時に、実用的な効率性を維持できるか？

主な発見

• パラメータの不確実性下では、任意のPr(H|E)クエリの応答分散は漸近的に正規的である。
• 影響図技術を用いることで、クエリ応答の平均および漸近的分散を解析的に導出可能である。
• 提案されたアルゴリズムはO(n 2^w)時間で誤差帯を計算し、標準的な信念伝播と同一の複雑度を有する。
• 実証的結果から、小規模なトレーニングサンプルでも信頼性のある誤差帯推定が得られることを示した。
• アルゴリズムは近似と仮定を効果的に組み込みつつ、実用的な正確性を損なわない。
• 最小限の計算コストで信念ネットワーク推論における不確実性の定量化を可能にする。