[論文レビュー] Approximate Decomposition: A Method for Bounding and Estimating Probabilistic and Deterministic Queries

David Larkin|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 6被引用数 10

ひとこと要約

本稿では、密な確率的および決定的推論問題を、最も近い近似を求める手法によって疎らで取り扱いやすい問題に変換する Approximate Decomposition を導入する。簡略化された問題を正確に解くことで、元の照会に対するタイトな上界と下界が得られ、実際にはほぼ同一の境界が得られる。これは信念ネットワークや制約充足問題において高い精度で確認された。

ABSTRACT

In this paper, we introduce a method for approximating the solution to inference and optimization tasks in uncertain and deterministic reasoning. Such tasks are in general intractable for exact algorithms because of the large number of dependency relationships in their structure. Our method effectively maps such a dense problem to a sparser one which is in some sense "closest". Exact methods can be run on the sparser problem to derive bounds on the original answer, which can be quite sharp. We present empirical results demonstrating that our method works well on the tasks of belief inference and finding the probability of the most probable explanation in belief networks, and finding the cost of the solution that violates the smallest number of constraints in constraint satisfaction problems. On one large CPCS network, for example, we were able to calculate upper and lower bounds on the conditional probability of a variable, given evidence, that were almost identical in the average case.

研究の動機と目的

• 密な依存構造による大規模な確率的および決定的システムにおける正確な推論の非可解性に対処すること。
• 複雑な問題を単純化された疎らな問題に近似する手法を開発し、照会の境界を保持する精度を維持すること。
• 正確なソルバを用いた近似モデル上で、確率的照会（例：条件付き確率）および決定的照会（例：最も確実な説明、制約違反）の鋭い境界を可能にすること。
• 信念ネットワークや制約充足問題といった実世界の問題に対して、この手法の有効性を実証的に検証すること。
• 生成された境界がしばしばほぼ同一であることを示し、推定の高精度を示すこと。

提案手法

• 元のモデルと近似モデルの間の距離尺度を最小化することで、元の問題の疎らな近似を特定する。この際、重要な構造的関係を保持する。
• 確率的または構造的意味で「最も近い」とされる、計算的に取り扱いやすい疎らなモデルに、密なグラフィカルモデルや制約ネットワークを写像する。
• 疎らなモデルに対して正確な推論アルゴリズムを適用し、元の照会の上界と下界を計算する。
• 境界の質は、依存構造と証拠伝搬の観点から、疎らなモデルが元のモデルをどれだけよく近似するかに依存する。
• このアプローチは一般性があり、確率的推論（例：信念ネットワーク）および決定的推論（例：制約充足問題）の両方に適用可能である。
• 新規の推論アルゴリズムを必要とせず、簡略化されたモデル上で既存の正確なソルバを活用することで境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 密な確率的モデルの疎らな近似が、元の照会値のタイトな境界をもたらすか？
• RQ2 Approximate Decomposition は信念ネットワークにおける条件付き確率をどれほど正確に推定できるか？
• RQ3 制約充足問題において、最小の制約違反数を持つ解のコストをどの程度正確に境界にできるか？
• RQ4 実際には、この手法が生成する上界と下界はどれほど近いか？
• RQ5 この手法は多様な問題構造およびサイズにおいても精度を維持するか？

主な発見

• 大規模な CPCS 信念ネットワークにおいて、証拠が与えられたもとでの変数の条件付き確率について、平均的に上界と下界がほぼ同一であった。これは高い精度を示している。
• この手法は、信念ネットワークにおける最も確実な説明の確率を高い精度で境界にできた。これは確率的推論における実用性を示している。
• 制約充足問題においては、最小の制約違反数を持つ解のコストについて、タイトな境界が得られた。
• 疎らな近似モデルにより、正確なソルバが計算的に実行可能でかつ高精度な境界を生成できた。
• 実験的結果から、境界は鋭く、複雑な実世界のインスタンスに対しても上界と下界の差が最小限に抑えられていた。
• このアプローチは確率的および決定的推論の両タスクにおいて有効であった。これはその汎用性を示している。