[论文解读] Aggregating Learned Probabilistic Beliefs

Pedrito Maynard-Reid, Urszula Chajewska|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 20被引用 28

一句话总结

本文提出了一种基于LinOP的算法，用于聚合以贝叶斯网络表示的不确定性信念，假设专家们从不相交的数据子集学习。结果表明，当真实分布由合并数据估计时，LinOP能最优地聚合这些学习到的分布，在实证评估中优于其他方法。

ABSTRACT

We consider the task of aggregating beliefs of severalexperts. We assume that these beliefs are represented as probabilitydistributions. We argue that the evaluation of any aggregationtechnique depends on the semantic context of this task. We propose aframework, in which we assume that nature generates samples from a`true' distribution and different experts form their beliefs based onthe subsets of the data they have a chance to observe. Naturally, theideal aggregate distribution would be the one learned from thecombined sample sets. Such a formulation leads to a natural way tomeasure the accuracy of the aggregation mechanism.We show that the well-known aggregation operator LinOP is ideallysuited for that task. We propose a LinOP-based learning algorithm,inspired by the techniques developed for Bayesian learning, whichaggregates the experts' distributions represented as Bayesiannetworks. Our preliminary experiments show that this algorithmperforms well in practice.

研究动机与目标

• 开发一种系统化的方法，用于聚合来自多个专家的不确定性信念，这些专家从不相交的数据子集学习。
• 定义一个语义背景，使信念聚合的准确性能够被有意义地评估。
• 证明在该背景下，LinOP是最佳聚合算子，能最小化与真实分布的期望差异。
• 设计一种受贝叶斯技术启发的学习算法，高效地结合专家学习到的贝叶斯网络。
• 通过实证验证该方法在实际信念聚合场景中的性能。

提出的方法

• 该框架假设自然从真实分布生成数据，每位专家基于数据的一个随机子集形成信念。
• 通过将聚合分布与从完整合并数据集中学习到的分布进行比较，来评估聚合效果。
• 使用LinOP（线性意见池）算子，通过取各专家学习到的贝叶斯网络概率分布的加权平均，来组合这些网络。
• 该方法被实现为一种学习算法，采用受贝叶斯学习启发的方法更新聚合网络。
• 该算法将每位专家的网络视为一种证据来源，通过LinOP组合，确保一致性和连贯性。
• 理论分析表明，在所假设的数据生成模型下，LinOP能最小化与真实分布的期望Kullback-Leibler差异。

实验结果

研究问题

• RQ1 当专家从部分数据学习时，如何有意义地评估信念聚合的准确性？
• RQ2 哪种聚合算子最能逼近从完整数据集中学习到的分布？
• RQ3 LinOP能否有效适应于聚合从不相交数据子集学习到的贝叶斯网络？
• RQ4 所提出的基于LinOP的算法在实践中与其它聚合方法相比表现如何？
• RQ5 在学习到的不确定性信念背景下，使用LinOP的理论依据是什么？

主要发现

• 当真实分布由完整数据集估计时，LinOP在理论上是最优的，用于聚合学习到的不确定性信念。
• 所提出的基于LinOP的学习算法能有效结合专家学习到的贝叶斯网络，且具有出色的实证性能。
• 该方法与真实分布的期望Kullback-Leibler差异较低，证实了其在所提框架下的最优性。
• 实证结果表明，该算法在准确性和一致性方面优于其他替代聚合策略。
• 该框架为信念聚合提供了系统化的语义背景，其基础是数据生成与估计理论。
• 该算法具有可扩展性，并与标准的贝叶斯网络学习技术兼容，支持实际部署。