[論文レビュー] Nonuniform Dynamic Discretization in Hybrid Networks

Alexander V. Kozlov, Daphne Koller|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 138

ひとこと要約

本稿では、証拠と関数の複雑さに基づいて連続変数を動的に部分分割することで、情報損失とデータ構造のサイズを低減する非一様な動的離散化手法を提案する。バイナリスプリットパーティション（BSP）木というデータ構造を用いることで、一様離散化と比較して指数関数的なメモリ節約が達成され、証拠駆動の精錬を経て段階的に精度を向上させる「いつでもアルゴリズム」を実現する。

ABSTRACT

We consider probabilistic inference in general hybrid networks, which include continuous and discrete variables in an arbitrary topology. We reexamine the question of variable discretization in a hybrid network aiming at minimizing the information loss induced by the discretization. We show that a nonuniform partition across all variables as opposed to uniform partition of each variable separately reduces the size of the data structures needed to represent a continuous function. We also provide a simple but efficient procedure for nonuniform partition. To represent a nonuniform discretization in the computer memory, we introduce a new data structure, which we call a Binary Split Partition (BSP) tree. We show that BSP trees can be an exponential factor smaller than the data structures in the standard uniform discretization in multiple dimensions and show how the BSP trees can be used in the standard join tree algorithm. We show that the accuracy of the inference process can be significantly improved by adjusting discretization with evidence. We construct an iterative anytime algorithm that gradually improves the quality of the discretization and the accuracy of the answer on a query. We provide empirical evidence that the algorithm converges.

研究の動機と目的

• 連続変数と離散変数を含むハイブリッドネットワークにおける確率的推論における情報損失を最小化すること。
• 一様離散化の非効率性——特に高次元空間における過剰なデータ構造と精度の低い近似——を是正すること。
• 推論の精度を時間とともに向上させる、動的で証拠に依存する離散化戦略を構築すること。
• 非一様部分分割を効果的に表現できるメモリ効率の良いデータ構造（BSP木）を設計すること。
• 標準的な推論アルゴリズム（例えばジョインツリー法）に新しい離散化手法を統合し、実用的な導入を可能とすること。

提案手法

• 各変数ごとに一様に離散化するのではなく、関数の複雑さをより的確に反映するため、すべての変数を同時に非一様に部分分割するスキームを提案する。
• 非一様部分分割を効率的に表現するデータ構造として、バイナリスプリットパーティション（BSP）木を導入し、対数時間オーダーでのアクセスとコンパクトなストレージを実現する。
• 証拠に基づいて部分分割を精錬する動的離散化手順を採用し、事後確率密度が高くなる領域に注力する。
• 標準的なジョインツリー法をBSP木に対応させることで、非一様離散化フレームワーク下でも正確な推論を可能にする。
• 計算時間の増加に応じて段階的に離散化の質とクエリの精度を向上させる「いつでもアルゴリズム」を設計する。
• 連続関数の曲率が高く、または事後密度が高い領域を特定するためのヒューリスティックを用いる。

実験結果

リサーチクエスチョン

• RQ1 すべての変数に対して非一様離散化を適用することで、変数ごとの一様離散化と比較して、情報損失をより効果的に低減できるか？
• RQ2 BSP木のような新規データ構造は、多次元空間において一様離散化と比較して、非一様部分分割を著しく少ないメモリで表現できるか？
• RQ3 証拠が加わる過程で、推論中に部分分割を動的に調整することで、推論精度を向上させられるか？
• RQ4 時間の経過に応じて段階的に離散化を精錬し、推論品質を向上させる「いつでもアルゴリズム」を設計できるか？
• RQ5 部分分割の証拠駆動の精錬は、ハイブリッドネットワークにおける確率的クエリの精度をどの程度向上させるか？

主な発見

• 提案された非一様離散化により、多次元空間において一様離散化と比較して、連続関数を表現するためのデータ構造のサイズが指数関数的に削減された。
• BSP木は、特に高次元の状況において、標準的一様離散化と比較して指数関数的なメモリ節約を達成した。
• 証拠駆動の動的精錬により、事後確率密度が高くなる領域に集中して離散化を行うことで、推論精度が著しく向上した。
• 「いつでもアルゴリズム」は、計算時間の増加に伴い、より良い離散化とより正確なクエリ回答へ収束し、実用的価値を示した。
• BSP木をジョインツリー法に統合することで、非一様離散化下でも効率的かつ正確な推論が可能になり、正しさを損なわずに実現された。