[论文解读] A generative Bayesian model for aggregating experts' probabilities

Joseph M. Kahn|arXiv (Cornell University)|Jul 7, 2004

Forecasting Techniques and Applications参考文献 14被引用 9

一句话总结

该论文提出了一种生成式贝叶斯模型，用于在数据量较少的场景下聚合专家概率，通过整合关于事件属性和专家特征（如偏差、校准度、准确度和依赖性）的先验知识。该模型推导出独立且可交换专家情况下的解析解，得到一种加权对数意见池（LogOps），该方法满足外部贝叶斯性质等一致性标准，在实证中优于其他聚合方法。

ABSTRACT

In order to improve forecasts, a decision-maker often combines probabilities given by various sources, such as human experts and machine learning classifiers. When few training data are available, aggregation can be improved by incorporating prior knowledge about the event being forecasted and about salient properties of the experts. To this end, we develop a generative Bayesian aggregation model for probabilistic classification. The model includes an event-specific prior, measures of individual experts' bias, calibration, accuracy, and a measure of dependence between experts. Rather than require absolute measures, we show that aggregation may be expressed in terms of relative accuracy between experts. The model results in a weighted logarithmic opinion pool (LogOps) that satisfies consistency criteria such as the external Bayesian property. We derive analytic solutions for independent and for exchangeable experts. Empirical tests demonstrate the model's use, comparing its accuracy with other aggregation methods.

研究动机与目标

• 通过整合专家知识和关于专家的结构化假设，提升在训练数据稀缺情况下的概率预测性能。
• 解决现有聚合方法在低数据环境下缺乏与贝叶斯原则一致性的局限性。
• 在系统化、生成式的贝叶斯框架中建模专家特有的属性，如偏差、校准度和准确度。
• 在独立性和可交换性假设下，推导专家聚合的解析解。
• 确保聚合方法满足关键一致性标准，包括外部贝叶斯性质。

提出的方法

• 该模型引入事件特异性先验，以编码关于预测事件的领域知识。
• 引入个体专家参数以表征偏差、校准度和相对准确度，避免使用绝对准确度度量。
• 通过结构化的协方差分量，对专家之间的依赖性进行建模。
• 将聚合问题表述为加权对数意见池（LogOps），其源自确保与贝叶斯更新一致的生成过程。
• 推导出两种情况下的解析解：当专家独立时和当专家可交换时。
• 该框架确保外部贝叶斯性质，即在新证据出现时，聚合结果仍保持一致性。

实验结果

研究问题

• RQ1 如何在数据有限的情况下，以与贝叶斯原则一致的方式聚合专家概率？
• RQ2 关于事件和专家特征的先验知识在提升聚合准确度方面起到什么作用？
• RQ3 在概率聚合中，能否有效使用相对准确度而非绝对准确度度量？
• RQ4 考虑专家依赖性如何影响聚合预测的可靠性和性能？
• RQ5 所提出的模型在校准度和准确度方面是否优于现有聚合方法？

主要发现

• 所提出的模型生成的加权LogOps满足外部贝叶斯性质，确保与贝叶斯更新的一致性。
• 推导出独立和可交换专家情况下的解析解，实现无需模拟的高效计算。
• 在实证评估中，该模型相比基线聚合方法提升了预测准确度。
• 采用专家间的相对准确度而非绝对度量，增强了在低数据场景下的鲁棒性。
• 引入专家特异性参数（如偏差、校准度和依赖性）可生成更可靠且校准度更高的预测。