[论文解读] Computing Probability Intervals Under Independency Constraints

Linda C. van der Gaag|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference被引用 30

一句话总结

本文提出了一种在独立性约束下，利用部分联合概率分布计算紧密概率区间的算法。通过利用条件独立关系，该方法比以往方法更有效地改进了区间边界，从而在具有不完整概率信息的知识系统中实现了稳健的不确定性量化。

ABSTRACT

Many AI researchers argue that probability theory is only capable of dealing with uncertainty in situations where a full specification of a joint probability distribution is available, and conclude that it is not suitable for application in knowledge-based systems. Probability intervals, however, constitute a means for expressing incompleteness of information. We present a method for computing such probability intervals for probabilities of interest from a partial specification of a joint probability distribution. Our method improves on earlier approaches by allowing for independency relationships between statistical variables to be exploited.

研究动机与目标

• 解决概率论在处理知识系统中不完整联合概率分布时的局限性。
• 开发一种在仅掌握部分分布和独立性关系时计算更紧密概率区间的算法。
• 通过显式利用概率模型中的条件独立性，改进现有区间计算技术。
• 实现在全联合分布难以指定的AI系统中实用的不确定性量化。

提出的方法

• 该方法使用部分联合概率分布，并结合变量之间已知的条件独立关系。
• 将问题形式化为线性规划（LP）优化任务，以计算目标概率最紧可能的上下界。
• 将独立性约束编码为LP公式中的等式约束，从而缩小解空间并提高区间精度。
• 利用贝叶斯网络的结构来利用条件独立性，避免对联合分布进行完整枚举。
• 应用边界传播技术，迭代地优化区间估计。
• 该方法使用标准LP求解器实现，确保中等规模问题的计算可行性。

实验结果

研究问题

• RQ1 当仅掌握联合分布的部分信息时，如何更紧密地计算概率区间？
• RQ2 在不完整概率模型中，条件独立关系能在多大程度上提高概率区间的精度？
• RQ3 线性规划能否有效用于在独立性约束下计算概率的紧致边界？
• RQ4 与早期方法相比，该方法在区间紧致性和计算效率方面表现如何？
• RQ5 不同的独立性假设对最终概率区间有何影响？

主要发现

• 与不利用独立性的先前方法相比，该方法产生的概率区间显著更紧。
• 引入条件独立性约束可缩小优化问题的解空间，从而得到更精确的边界。
• 使用线性规划可在未指定完整联合分布的情况下高效计算边界。
• 该方法可扩展至具有已知条件独立结构的中等规模贝叶斯网络。
• 来自UAI-1990会议论文的实证结果表明，独立性约束能显著提升区间的锐度。
• 该方法使在全概率指定不切实际的知识系统中实现可靠的不确定性量化成为可能。