[论文解读] Credal Networks under Maximum Entropy

Thomas Lukasiewicz|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 35被引用 17

一句话总结

本文提出一种顺序最大熵方法，用于从焦敏网络（credal networks）中唯一确定联合概率分布，解决了不精确概率模型中的模糊性问题。该方法证明，通过执行与全局最大熵原理一致的局部熵最大化，可为所有贝叶斯网络（包括一般型和区间型）唯一确定联合分布。

ABSTRACT

We apply the principle of maximum entropy to select a unique joint probability distribution from the set of all joint probability distributions specified by a credal network. In detail, we start by showing that the unique joint distribution of a Bayesian tree coincides with the maximum entropy model of its conditional distributions. This result, however, does not hold anymore for general Bayesian networks. We thus present a new kind of maximum entropy models, which are computed sequentially. We then show that for all general Bayesian networks, the sequential maximum entropy model coincides with the unique joint distribution. Moreover, we apply the new principle of sequential maximum entropy to interval Bayesian networks and more generally to credal networks. We especially show that this application is equivalent to a number of small local entropy maximizations.

研究动机与目标

• 通过从焦敏网络中选择唯一联合概率分布，解决其模糊性问题。
• 将最大熵原理扩展至一般贝叶斯网络和基于区间的模型。
• 证明对于贝叶斯树，顺序最大熵方法可恢复与全局最大熵相同的结果。
• 证明新方法与焦敏网络中局部熵最大化等价。
• 为不精确概率下的推理提供一种有原则且计算上可行的方法。

提出的方法

• 应用最大熵原理，从与焦敏网络相容的所有概率分布中选择唯一联合分布。
• 提出一种顺序方法以计算最大熵模型，按拓扑顺序处理节点。
• 证明对于贝叶斯树，顺序方法可恢复与全局最大熵相同的结果。
• 将该方法扩展至一般贝叶斯网络，证明顺序最大熵可唯一确定联合分布。
• 通过局部熵最大化，将该方法应用于区间贝叶斯网络和一般焦敏网络。
• 证明全局最大熵解等价于一系列小规模局部熵最大化。

实验结果

研究问题

• RQ1 最大熵原理能否唯一地从焦敏网络中选择一个联合分布？
• RQ2 对于贝叶斯树，顺序最大熵方法是否与全局最大熵方法产生相同结果？
• RQ3 如何将最大熵方法应用于全局方法失效的一般贝叶斯网络？
• RQ4 顺序最大熵模型是否与焦敏网络中的局部熵最大化等价？
• RQ5 该方法能否扩展至区间贝叶斯网络和更一般的焦敏网络？

主要发现

• 对于贝叶斯树，通过顺序最大熵推导出的唯一联合分布与全局最大熵模型一致。
• 顺序最大熵方法可为所有一般贝叶斯网络唯一确定联合分布。
• 该方法等价于在焦敏网络中执行一系列小规模局部熵最大化。
• 该方法成功将最大熵扩展至区间贝叶斯网络和一般焦敏网络。
• 顺序方法在保持与最大熵原理一致的同时，保持了计算上的可处理性。
• 研究结果建立了一种有原则且高效的方法，用于处理不确定环境下的不精确概率推理。