[论文解读] Approximate Decomposition: A Method for Bounding and Estimating Probabilistic and Deterministic Queries

David Larkin|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 6被引用 10

一句话总结

本文提出近似分解方法，通过寻找‘最接近’的近似，将密集的概率和确定性推理问题转化为更稀疏、更易处理的问题。通过精确求解简化后的问题，该方法生成原始查询的紧致上下界，在实践中上下界几乎完全一致——已在信念网络和约束满足问题上得到验证，精度极高。

ABSTRACT

In this paper, we introduce a method for approximating the solution to inference and optimization tasks in uncertain and deterministic reasoning. Such tasks are in general intractable for exact algorithms because of the large number of dependency relationships in their structure. Our method effectively maps such a dense problem to a sparser one which is in some sense "closest". Exact methods can be run on the sparser problem to derive bounds on the original answer, which can be quite sharp. We present empirical results demonstrating that our method works well on the tasks of belief inference and finding the probability of the most probable explanation in belief networks, and finding the cost of the solution that violates the smallest number of constraints in constraint satisfaction problems. On one large CPCS network, for example, we were able to calculate upper and lower bounds on the conditional probability of a variable, given evidence, that were almost identical in the average case.

研究动机与目标

• 为解决因密集依赖结构导致的大规模概率和确定性系统中精确推理的不可行性。
• 开发一种方法，将复杂问题近似为更简单、更稀疏的问题，同时保持查询边界的准确性。
• 通过在近似模型上使用精确求解器，实现对概率查询（如条件概率）和确定性查询（如最大后验解释、约束违反）的紧致边界估计。
• 在真实世界问题（如信念网络和约束满足问题）上实证验证该方法的有效性。
• 证明所生成的边界在实践中通常几乎完全相同，表明估计具有极高精度。

提出的方法

• 该方法通过最小化原始模型与近似模型之间的距离度量，识别原始问题的稀疏近似，同时保留关键的结构关系。
• 它将密集的图模型或约束网络映射为更稀疏的版本，使其计算上可行，同时在定义的概率或结构意义上保持‘最接近’。
• 在稀疏模型上应用精确推理算法，以计算原始查询的上下界。
• 边界质量取决于稀疏模型在依赖结构和证据传播方面对原始模型的逼近程度。
• 该方法具有通用性，适用于概率推理（如信念网络）和确定性推理（如约束满足问题）。
• 该方法利用现有精确求解器对简化模型进行求解，以推导边界，而无需开发新的推理算法。

实验结果

研究问题

• RQ1 密集概率模型的稀疏近似能否对原始查询值产生紧致边界？
• RQ2 近似分解在信念网络中对条件概率的估计精度如何？
• RQ3 该方法在多大程度上能对约束满足问题中违反最少约束的解的代价进行边界估计？
• RQ4 实践中该方法生成的上下界有多接近？
• RQ5 该方法在不同问题结构和规模下是否保持准确性？

主要发现

• 在大型CPCS信念网络上，变量在给定证据下的条件概率的上下界在平均情况下几乎完全相同，表明估计具有极高精度。
• 该方法成功以高精度边界估计了信念网络中最大后验解释的概率，证明其在概率推理中的实用性。
• 对于约束满足问题，该方法对违反最少约束的解的代价提供了紧致边界。
• 稀疏近似模型使精确求解器能够生成计算上可行且高度准确的边界。
• 实证结果表明，边界非常锐利，即使在复杂的真实世界实例上，上下界估计之间的差距也极小。
• 该方法在概率和确定性推理任务中均表现有效，凸显其通用性。