[论文解读] Combination of Evidence Using the Principle of Minimum Information Gain

Michael S. K. M. Wong, Pawan Lingras|arXiv (Cornell University)|Mar 27, 2013

Adversarial Robustness in Machine Learning参考文献 6被引用 4

一句话总结

本文提出了一种基于最小信息增益原则的新证据组合方法，该方法在信念融合过程中最小化信息损失。该方法推广了贝叶斯规则和达姆斯特规则，确保在一致证据下信念单调增加，并在不确定推理系统中提供更稳健的冲突检测机制。

ABSTRACT

One of the most important aspects in any treatment of uncertain information is the rule of combination for updating the degrees of uncertainty. The theory of belief functions uses the Dempster rule to combine two belief functions defined by independent bodies of evidence. However, with limited dependency information about the accumulated belief the Dempster rule may lead to unsatisfactory results. The present study suggests a method to determine the accumulated belief based on the premise that the information gain from the combination process should be minimum. This method provides a mechanism that is equivalent to the Bayes rule when all the conditional probabilities are available and to the Dempster rule when the normalization constant is equal to one. The proposed principle of minimum information gain is shown to be equivalent to the maximum entropy formalism, a special case of the principle of minimum cross-entropy. The application of this principle results in a monotonic increase in belief with accumulation of consistent evidence. The suggested approach may provide a more reasonable criterion for identifying conflicts among various bodies of evidence.

研究动机与目标

• 为解决达姆斯特规则在组合依赖或部分依赖证据时的局限性。
• 开发一种基于原则的不确定证据组合方法，以最小化融合过程中的信息增益。
• 在统一的信息论框架下统一贝叶斯方法与信任函数方法。
• 确保随着证据累积，信念更新保持一致且单调。
• 为检测多个证据源之间的冲突提供更可靠的准则。

提出的方法

• 该方法利用最小信息增益原则，从多个来源确定组合后的信念函数。
• 将其表述为一个优化问题，通过证据导出的约束条件最小化交叉熵。
• 证明该解等价于最大熵形式，确保最小的信息失真。
• 当已知完整的条件概率时，该方法退化为贝叶斯规则；当归一化为1时，退化为达姆斯特规则。
• 在添加新的一致证据时，保持信念更新的一致性和单调性。
• 该方法基于信息论原理推导，特别是最小交叉熵。

实验结果

研究问题

• RQ1 如何在融合过程中最小化信息损失地组合证据？
• RQ2 能否开发一个统一框架，推广贝叶斯与达姆斯特-谢弗组合规则？
• RQ3 最小信息增益原则是否能导致在一致证据下信念的单调增长？
• RQ4 所提出的方法如何改进证据源之间的冲突检测？
• RQ5 最小信息增益与信念组合中的最大熵之间存在何种关系？

主要发现

• 所提方法确保随着一致证据的累积，信念单调增加，避免了某些组合规则中出现的反直觉结果。
• 该方法在数学上等价于最大熵形式，提供了坚实的理论基础。
• 根据条件概率或归一化约束的可用性，该方法可作为贝叶斯规则和达姆斯特规则的特例进行推广。
• 通过最小化信息增益，该方法提供了更稳健的机制来识别证据源之间的冲突。
• 该解基于信息论原理推导，确保对现有信念状态的最小失真。
• 即使在依赖关系假设有限的情况下，该方法仍能保持信念融合的一致性和合理性。