[论文解读] Crowd IQ -- Aggregating Opinions to Boost Performance

Yoram Bachrach, Thore Graepel+3 more|arXiv (Cornell University)|Oct 13, 2024

Mobile Crowdsensing and Crowdsourcing参考文献 33被引用 55

一句话总结

本文提出 Crowd IQ，一种通过使用多数投票或概率机器学习模型聚合个体对瑞文标准渐进矩阵（SPM）智商测试题目的回答，来衡量群体集体智能的方法。结果表明，Crowd IQ 随群体规模迅速增长但最终趋于饱和；对于同质群体，其表现显著超过群体中最高个体的智商，证明群体聚合可超越最聪明的个体成员。

ABSTRACT

We show how the quality of decisions based on the aggregated opinions of the crowd can be conveniently studied using a sample of individual responses to a standard IQ questionnaire. We aggregated the responses to the IQ questionnaire using simple majority voting and a machine learning approach based on a probabilistic graphical model. The score for the aggregated questionnaire, Crowd IQ, serves as a quality measure of decisions based on aggregating opinions, which also allows quantifying individual and crowd performance on the same scale. We show that Crowd IQ grows quickly with the size of the crowd but saturates, and that for small homogeneous crowds the Crowd IQ significantly exceeds the IQ of even their most intelligent member. We investigate alternative ways of aggregating the responses and the impact of the aggregation method on the resulting Crowd IQ. We also discuss Contextual IQ, a method of quantifying the individual participant's contribution to the Crowd IQ based on the Shapley value from cooperative game theory.

研究动机与目标

• 研究在众包情境下，聚合个体意见如何提升决策质量。
• 开发一种标准化、可扩展的度量指标——Crowd IQ，用于评估聚合群体决策的表现。
• 利用基于 Shapley 值的上下文智商，量化个体对集体智能的贡献。
• 比较不同聚合方法（多数投票与机器学习）对集体表现的影响。

提出的方法

• 使用简单多数投票（MAJ）和概率图模型（ML）聚合个体对 SPM 智商测试题目的回答，以提高准确性。
• 采用标准智商换算程序对聚合结果进行评分，得出综合的“Crowd IQ”得分。
• 应用合作博弈论，特别是 Shapley 值，计算每个个体对整体 Crowd IQ 的上下文智商贡献。
• 基于参与者独立回答 SPM 题目的实证数据，将每个回答视为需聚合的意见。
• 通过比较不同群体规模和构成下的表现，研究饱和效应及多样性带来的增益。
• 通过将个体智商与不同聚合器下的上下文智商进行相关性分析，验证结果的一致性，显示方法间高度一致。

实验结果

研究问题

• RQ1 随着群体规模增加，聚合决策的质量如何变化？
• RQ2 群体的集体智能是否能显著超过其最聪明个体成员的智商？
• RQ3 不同聚合方法（多数投票与机器学习）如何影响最终的 Crowd IQ？
• RQ4 个体对 Crowd IQ 的贡献在多大程度上取决于其智商，而非其在群体背景下的回答独特性？
• RQ5 基于 Shapley 值推导出的上下文智商，能否提供一种可靠且可解释的个体对群体表现贡献的度量？

主要发现

• Crowd IQ 随群体规模迅速增长，但最终趋于饱和，表明超过某一特定规模后回报递减。
• 在小型同质群体中，Crowd IQ 显著超过群体中智商最高的个体。
• 机器学习聚合器的性能略优于多数投票，但差异并不总是显著或具有统计学意义。
• 基于 Shapley 值推导出的上下文智商，在 MAJ 和 ML 聚合器之间表现出高度相关性（r > 0.95），表明方法间具有稳健性。
• 个体对 Crowd IQ 的贡献不仅取决于其智商，还取决于其回答相对于群体的独特性。
• 在异质群体中，识别并依赖表现最佳的个体，其结果优于聚合所有意见；而在同质群体中，聚合始终优于依赖个体专家。