[論文レビュー] New Advances in Inference by Recursive Conditioning

David L. Allen, Adnan Darwiche|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用数 33

ひとこと要約

本稿では、キャッシュサイズを調整することで時間と空間のトレードオフを動的に実現する、ベイジアンネットワーク向けの任意のメモリ空間推論アルゴリズムであるRecursive Conditioning（RC）を提案する。RCは、変数除去やクラスタリングと同等の時間的・空間的計算量を達成しつつ、実際のメモリ使用量を顕著に削減し、構造化されたネットワークにおける決定論的性質を活用するための論理的手法（例：ユニット解消）を統合することで、推論を高速化する。

ABSTRACT

Recursive Conditioning (RC) was introduced recently as the first any-space algorithm for inference in Bayesian networks which can trade time for space by varying the size of its cache at the increment needed to store a floating point number. Under full caching, RC has an asymptotic time and space complexity which is comparable to mainstream algorithms based on variable elimination and clustering (exponential in the network treewidth and linear in its size). We show two main results about RC in this paper. First, we show that its actual space requirements under full caching are much more modest than those needed by mainstream methods and study the implications of this finding. Second, we show that RC can effectively deal with determinism in Bayesian networks by employing standard logical techniques, such as unit resolution, allowing a significant reduction in its time requirements in certain cases. We illustrate our results using a number of benchmark networks, including the very challenging ones that arise in genetic linkage analysis.

研究の動機と目的

• 時間と空間の計算量を効率的にバランスさせるベイジアンネットワーク推論アルゴリズムの開発。
• 特に完全キャッシュ状態下において、理論的限界を超えて実際のメモリ使用量を削減すること。
• ユニット解消などの論理的推論手法を統合し、ベイジアンネットワークにおける決定論的性質を活用すること。
• 遺伝子連鎖解析を含む挑戦的なベンチマークネットワークにおけるRCの性能評価。
• 実際の応用において、主流のアルゴリズムを凌駆するか同等の効率性を示すことを実証すること。

提案手法

• RCは、結合確率分布の再帰的分解を用いて、変数を制御的に条件づけることでクエリを計算する。
• アルゴリズムは中間結果のキャッシュを動的に管理し、キャッシュサイズを調整することで時間と空間のトレードオフを実現する。
• 変数除去の原則を再帰的かつメモリに配慮した形で適用し、完全な事前計算を回避する。
• ユニット解消やその他の論理的推論手法を統合し、ネットワーク構造内の決定論的性質を検出し、活用する。
• 証拠とクエリは分解木をたどって処理され、再計算を避けるために結果をキャッシュする。
• ネットワークのトポロジカル構造と条件付き独立性を活用して、重複計算を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 任意のメモリ空間推論アルゴリズムとして、変数除去などの主流手法と同等の時間的・空間的計算量を達成できるか。
• RQ2 完全キャッシュ状態下で、RCの実際のメモリ使用量は理論的期待値や主流手法と比べてどの程度異なるか。
• RQ3 ユニット解消などの論理的推論手法が、決定論的性質を有するネットワークにおいて、RCの時間計算量をどの程度削減できるか。
• RQ4 遺伝子連鎖解析などの現実世界の複雑なベイジアンネットワークにおいて、RCはどの程度の性能を示すか。
• RQ5 大規模な推論において、RCは空間を時間に交換しながらも、実用的な効率性を維持できるか。

主な発見

• RCは、変数除去やクラスタリングなどの主流手法と同等の漸近的計算量を達成しており、木幅に指数的で、ネットワークサイズに線形である。
• 完全キャッシュ状態下で、RCの実際のメモリ使用量は主流手法よりも顕著に低く、空間効率に実用的利点があることが示された。
• ユニット解消や論理的推論手法の統合により、決定論的性質が強いネットワークではRCの実行時間が著しく短縮された。
• 遺伝子連鎖解析のデータを含むベンチマークネットワークにおいて、RCは速度とメモリ使用量の両面で、既存のアルゴリズムを上回るか同等の性能を示した。
• 決定論的性質などの構造的特徴を効果的に活用することで、特定のケースでは数桁の高速化が達成された。
• RCの動的キャッシュ戦略により、従来手法では実行不可能な大規模ネットワークに対しても実用的な展開が可能になった。