[論文レビュー] Any-Space Probabilistic Inference

Adnan Darwiche|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用数 11

ひとこと要約

本稿では、確率的モデルにおける正確な推論のための滑らかな時間-空間トレードオフを可能にする、Recursive Conditioning (RC) の拡張である Any-Space Probabilistic Inference を提案する。これは一般化された要因分解への拡張、空間使用量を削減するための忘れ機構の導入、およびインクリメンタルなクエリ対応とチューナブルな時間-空間トレードオフを備えた、初めての MAP 推論アルゴリズムを提示する。実際のネットワークにおいて、空間使用量が桁違いに削減された。

ABSTRACT

We have recently introduced an any-space algorithm for exact inference in Bayesian networks, called Recursive Conditioning, RC, which allows one to trade space with time at increments of X-bytes, where X is the number of bytes needed to cache a floating point number. In this paper, we present three key extensions of RC. First, we modify the algorithm so it applies to more general factorization of probability distributions, including (but not limited to) Bayesian network factorizations. Second, we present a forgetting mechanism which reduces the space requirements of RC considerably and then compare such requirmenets with those of variable elimination on a number of realistic networks, showing orders of magnitude improvements in certain cases. Third, we present a version of RC for computing maximum a posteriori hypotheses (MAP), which turns out to be the first MAP algorithm allowing a smooth time-space tradeoff. A key advantage of presented MAP algorithm is that it does not have to start from scratch each time a new query is presented, but can reuse some of its computations across multiple queries, leading to significant savings in ceratain cases.

研究の動機と目的

• Recursive Conditioning (RC) をベイジアンネットワークに限らない一般の確率的要因分解に拡張すること。
• 中間要因の冗長なものを破棄する新しい忘れ機構を用いて、RC の空間計算量を削減すること。
• 滑らかな時間-空間トレードオフと複数クエリにわたるインクリメンタル計算をサポートする、初めての MAP 推論アルゴリズムを開発すること。
• 実際のネットワークにおける強化された RC と変数消去法の空間要件を実験的に比較し、顕著な改善を示すこと。

提案手法

• ベイジアンネットワーク構造に限定されない、確率分布の任意の要因分解に対して動作する RC の拡張。
• 推論中に中間要因を選択的に破棄することで、空間使用量を削減するための忘れ機構の導入。
• X バイト単位で時間と空間をトレードオフできるメカニズムの設計、ここで X は浮動小数点数のサイズである。
• 最大事後確信度仮説計算をサポートするために、結合および最大化演算を変更することで RC を MAP 推論に適応。
• 複数のクエリ間でキャッシュされた中間結果を再利用することで、再計算から完全に回避するインクリメンタル推論の実装。
• 実世界のベイジアンネットワークにアルゴリズムを適用し、変数消去法と比較してその空間効率を評価。

実験結果

リサーチクエスチョン

• RQ1 Recursive Conditioning は、ベイジアンネットワークに限らず、任意の確率分布の要因分解に対しても一般化可能か？
• RQ2 忘れ機構は、正しさを損なうことなく、RC の空間要件をどれほど効果的に削減できるか？
• RQ3 滑らかな時間-空間トレードオフとインクリメンタルなクエリ処理をサポートする MAP 推論アルゴリズムを設計可能か？
• RQ4 実際のネットワークにおいて、強化された RC は変数消去法と比較して、どの程度の空間節約が達成されるか？
• RQ5 複数のクエリにわたってキャッシュされた中間結果をどれほど再利用可能か、推論の高速化にどの程度寄与するか？

主な発見

• 忘れ機構により、特定の現実的ベイジアンネットワークにおいて、RC の空間要件が桁違いに削減され、変数消去法を著しく上回る性能を示した。
• 提案された MAP 推論アルゴリズムは、滑らかな時間-空間トレードオフをサポートし、クエリ間での計算再利用を可能にし、繰り返しのクエリ処理において顕著な性能向上をもたらした。
• 一般化された RC アルゴリズムは、任意の確率的要因分解を適切に処理でき、ベイジアンネットワークを超えた適用可能性を拡張した。
• 実験的評価により、強化された RC はベンチマークネットワークにおいて、変数消去法と比較して最大数桁の空間節約を達成した。
• アルゴリズムは正しさを維持しながら、1つの浮動小数点数の刻みで調整可能なメモリ使用量を実現した。