[论文解读] A Consensual Linear Opinion Pool

Arthur Carvalho, Kate Larson|arXiv (Cornell University)|Apr 24, 2012

Opinion Dynamics and Social Influence参考文献 19被引用 7

一句话总结

本文提出了一种共识性线性意见池，通过迭代共识聚合专家意见，其中每位专家根据其自身意见与同行意见之间的距离，以反比方式加权同伴意见来更新自身信念。该方法收敛至共享意见，在真实世界预测中表现优于传统平均法和基于距离的方法，准确率达到69.29%，平均绝对误差最低（0.4115）。

ABSTRACT

An important question when eliciting opinions from experts is how to aggregate the reported opinions. In this paper, we propose a pooling method to aggregate expert opinions. Intuitively, it works as if the experts were continuously updating their opinions in order to accommodate the expertise of others. Each updated opinion takes the form of a linear opinion pool, where the weight that an expert assigns to a peer's opinion is inversely related to the distance between their opinions. In other words, experts are assumed to prefer opinions that are close to their own opinions. We prove that such an updating process leads to consensus, extit{i.e.}, the experts all converge towards the same opinion. Further, we show that if rational experts are rewarded using the quadratic scoring rule, then the assumption that they prefer opinions that are close to their own opinions follows naturally. We empirically demonstrate the efficacy of the proposed method using real-world data.

研究动机与目标

• 为解决在缺乏历史数据的情况下，专家意见存在分歧时的聚合挑战。
• 开发一种自然导向共识的方法，无需依赖外部性能指标或真实结果。
• 形式化一种聚合机制，使专家基于彼此意见的接近程度，迭代调整自身意见，确保收敛。
• 将意见接近偏好假设与二次评分规则下的理性行为联系起来。
• 使用真实世界体育赛事预测数据，对标准聚合技术进行实证验证。

提出的方法

• 专家通过线性意见池迭代更新其意见，其中权重与自身意见和同行意见之间的距离成反比。
• 距离通过概率质量函数之间的Kullback-Leibler散度进行度量。
• 该过程被建模为连续时间动力系统，收敛至共识意见。
• 权重动态调整，使意见相近的专家相互影响更强。
• 该方法假设专家偏好与其自身意见接近的意见，此假设在理性专家的二次评分规则下具有理论依据。
• 最终聚合意见源自系统的共识状态，而非静态平均值。

实验结果

研究问题

• RQ1 基于意见相似性加权的动态意见池机制是否能促使专家达成共识？
• RQ2 专家偏好接近自身意见的观点是否自然地源于在合理评分规则下的理性行为？
• RQ3 与传统线性池化和基于距离的方法相比，所提方法在预测准确性方面表现如何？
• RQ4 极端意见对不同聚合方法有何影响？所提方法如何缓解此问题？
• RQ5 在真实世界预测任务中，所提方法是否在统计上显著优于基线方法？

主要发现

• 共识性线性意见池通过迭代更新收敛至单一共享意见，证明了共识的达成。
• 该方法在预测NFL比赛结果方面整体准确率达到69.29%，优于平均法（67.42%）和BMS方法（68.54%）。
• 共识方法的平均绝对误差最低，为0.4115，显著低于平均法（0.4176）和BMS方法（0.4295）。
• 使用左尾Wilcoxon符号秩检验进行的统计分析显示p值小于10^-4，证实结果具有高度统计显著性。
• 由于专家对远离自身意见的观点赋予较低权重，该方法受极端意见的影响较小，从而减少了偏差。
• 对相似意见的偏好在理论上得到二次评分规则的支持，表明理性专家自然倾向于偏好接近自身意见的观点。