[論文レビュー] How long, O Bayesian network, will I sample thee? : A program analysis perspective on expected sampling times

Kevin Batz, Benjamin Lucien Kaminski+2 more|arXiv (Cornell University)|Jan 1, 2018

Bayesian Modeling and Causal Inference参考文献 46被引用数 4

ひとこと要約

本稿では、ベイジアンネットワーク（BNs）の拒否サンプリングにおける正確な期待サンプリング時間（EST）を、プログラム解析に基づく完全自動化手法によって計算する方法を提示する。BNを確率的プログラム断片に翻訳し、最弱前件述語スタイルの推論を適用することで、サンプリング効率の正確で閉形式の推定が可能となり、ESTが10^18を超えるケースが特定され、サンプリングが非現実的であることが明らかになり、正確な推論の必要性が強調される。

ABSTRACT

Bayesian networks (BNs) are probabilistic graphical models for describing complex joint probability distributions. The main problem for BNs is inference: Determine the probability of an event given observed evidence. Since exact inference is often infeasible for large BNs, popular approximate inference methods rely on sampling. We study the problem of determining the expected time to obtain a single valid sample from a BN. To this end, we translate the BN together with observations into a probabilistic program. We provide proof rules that yield the exact expected runtime of this program in a fully automated fashion. We implemented our approach and successfully analyzed various real-world BNs taken from the Bayesian network repository.

研究の動機と目的

• 条件付けられた証拠が悪い場合に、拒否サンプリングにおける期待サンプリング時間の推定という、極めて重要な課題に取り組むこと。
• ユーザーが供給する不変条件、マルティングール、ヒューリスティクスを一切必要としない、完全自動化された正確な期待サンプリング時間の計算手法を開発すること。
• サンプリングベースの推論が、高い期待サンプリング時間のために非現実的になるBNの早期検出を可能にすること。
• BNから導出される確率的プログラムの実行時間の期待値について、形式的かつ検証可能な枠組みを提供すること。

提案手法

• 観測された証拠を伴うベイジアンネットワークを、確率的プログラムの構文的断片（BNL）に翻訳し、条件付き確率表をプログラム構文に保存する。
• 最弱前件述語（wp）計算と期待実行時間（ERT）のための証明規則を適用し、期待サンプリング時間の閉形式表現を導出する。
• 確率的制御構造（例：条件分岐やループ）を通じた期待値の後向き伝播を用いて、構成的かつ正確なERTを計算する。
• ガード評価とランダム代入を計算ステップとして数える形式的実行時間モデルを活用する。
• ベイジアンネットワーク交換形式（BIF）で記述されたBNを解析するJavaプロトタイプを実装し、導出された証明規則を用いてESTを計算する。
• 期待値のサイズの膨張に起因するメモリ制限を受けるが、記号的処理により指数的最悪ケースの複雑性に対処する。

実験結果

リサーチクエスチョン

• RQ1 拒否サンプリングにおけるベイジアンネットワークから1つの有効なサンプルを取得するために必要な正確な期待時間は何か？
• RQ2 ユーザーが提供する不変条件や補助的証明構造を一切必要とせず、この期待サンプリング時間を自動的に計算できるか？
• RQ3 実世界のベイジアンネットワークにおいて、期待サンプリング時間はどのように変化するのか？ また、いつから計算的に非現実的になるのか？
• RQ4 プログラム解析技術を用いて、BNにおけるサンプリングベースの推論の性能を形式的に検証し、定量的に測定できるか？

主な発見

• パラメータaの単純なBNでは、a = 0.95を超えると期待サンプリング時間が急激に増加し、最大で300回のサンプリングにまで達する。これは証拠の条件付けに敏感であることを示している。
• ベイジアンネットワークリポジトリから得た実世界のBNでは、期待サンプリング時間が10^18を超えるケースが確認され、サンプリングベースの推論が非現実的であることが判明した。
• 17個の観測を持つwin95pts BNでは、ESTが1.11×10^15に達し、実マシン上で約3.6年分の期待実行時間を要する一方で、正確な推論はほぼ瞬時に完了した。
• 13個の観測ノードを持つケースでは、ツールが0.32秒で約430万年分に相当するESTを計算した。これは本手法の効率性と実用的有用性を強調している。
• 1041ノードに達するBNに対しても、正確な期待サンプリング時間を正常に計算でき、指数的最悪ケースの複雑性にもかかわらずスケーラビリティを示した。
• 本手法により、中程度の複雑さのBNですら、期待サンプリング時間が極めて大きく、正確な推論がより現実的な選択肢となることが明らかになった。