[論文レビュー] Approximations in Bayesian Belief Universe for Knowledge Based Systems

Frank Jensen, Scot Anderson|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference参考文献 3被引用数 78

ひとこと要約

本論文は、エキスパートシステムにおける大規模ベイジアンネットワークのための確率的近似手法を提案し、計算負荷を低減するため、まれな状態の組み合わせを特定・除外する。微小確率に起因するスパarsityを活用することで、誤差が限定される範囲で、計算効率が桁違いに向上する。UAI 1990における実世界のCPNの事例で検証された。

ABSTRACT

When expert systems based on causal probabilistic networks (CPNs) reach a certain size and complexity, the "combinatorial explosion monster" tends to be present. We propose an approximation scheme that identifies rarely occurring cases and excludes these from being processed as ordinary cases in a CPN-based expert system. Depending on the topology and the probability distributions of the CPN, the numbers (representing probabilities of state combinations) in the underlying numerical representation can become very small. Annihilating these numbers and utilizing the resulting sparseness through data structuring techniques often results in several orders of magnitude of improvement in the consumption of computer resources. Bounds on the errors introduced into a CPN-based expert system through approximations are established. Finally, reports on empirical studies of applying the approximation scheme to a real-world CPN are given.

研究の動機と目的

• エキスパートシステムで使用される大規模な因果的確率的ネットワーク（CPNs）における組み合わせ的爆発問題に対処すること。
• CPNの数値表現における極めて小さな確率が引き起こす計算オーバーヘッドを軽減すること。
• 推論精度に顕著な影響を与えることなく、まれに発生する状態の組み合わせを除外する手法を開発すること。
• CPNに基づくエキスパートシステムにおける近似に起因する誤差の理論的境界を確立すること。
• 実世界のCPNアプリケーションを用いた実験的評価を通じて、手法の有効性を検証すること。

提案手法

• 事前定義されたしきい値未満の確率を持つCPN内の状態の組み合わせを特定し、無視可能とみなす。
• これらのまれなケースを標準的な数値処理から除外することで、ストレージおよび計算要求を低減する。
• 得られる確率分布のスパarsityを、最適化されたデータ構造を用いて活用する。
• 近似に起因する信念更新のずれを評価するための誤差解析を適用する。
• コアな信念伝搬メカニズムを変更せずに、既存のCPN推論アルゴリズムに近似スキームを統合する。
• 実世界のCPNを用いた実験的評価を通じて、パフォーマンスと正確性のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模CPNにおけるまれな状態の組み合わせを、計算コストの低減を目的として体系的に特定・除外する方法は何か？
• RQ2 低確率状態の除外が、エキスパートシステムにおける信念伝搬の正確性に与える影響は何か？
• RQ3 CPNに基づく信念ネットワークにおける近似に対して、理論的誤差境界を確立できるか？
• RQ4 近似によって生じるスパarsityが、実際の計算効率にどの程度向上効果をもたらすか？
• RQ5 正確な推論と比較して、実世界のCPNアプリケーションにおける近似スキームの性能はいかがなものか？

主な発見

• まれな状態の組み合わせを除外することで、コンピュータリソース消費が数桁単位で削減された。
• 誤差境界が成功裏に確立され、近似に起因する不正確さが許容範囲内かつ定量可能な範囲に保たれた。
• 大規模CPNにおいて、推論の正確性を維持したまま、メモリおよび処理要件を顕著に低減した。
• 実世界のCPNを用いた実験的評価により、結果の正確性にほとんど影響を与えることなく、顕著なパフォーマンス向上が得られた。
• 近似によって生じるスパarsityが、効率的なデータ構造化を可能にし、さらなるパフォーマンス向上を実現した。
• 実世界のエキスパートシステムの文脈で手法が検証され、実用的妥当性およびスケーラビリティが確認された。