[論文レビュー] Wisdom of the Confident: Using Social Interactions to Eliminate the Bias in Wisdom of the Crowds

Gonzalo G. de Polavieja, Gabriel Madirolas|arXiv (Cornell University)|Jun 30, 2014

Opinion Dynamics and Social Influence参考文献 4被引用数 5

ひとこと要約

この論文では、個人の私的推定値に対する自信が社会的影響力よりも強いサブグループを特定し、それを活用することで、群衆の知恵におけるバイアスを排除する手法を提案している。繰り返し、社会的影響力の重みが大きい個々の人物を除外し、残りの「自信のある」サブグループの幾何平均を計算することで、バイアスのない集団的推定が達成され、全グループの単純な中央値や平均値集約よりも優れた性能を発揮する。

ABSTRACT

Human groups can perform extraordinary accurate estimations compared to individuals by simply using the mean, median or geometric mean of the individual estimations [Galton 1907, Surowiecki 2005, Page 2008]. However, this is true only for some tasks and in general these collective estimations show strong biases. The method fails also when allowing for social interactions, which makes the collective estimation worse as individuals tend to converge to the biased result [Lorenz et al. 2011]. Here we show that there is a bright side of this apparently negative impact of social interactions into collective intelligence. We found that some individuals resist the social influence and, when using the median of this subgroup, we can eliminate the bias of the wisdom of the full crowd. To find this subgroup of individuals more confident in their private estimations than in the social influence, we model individuals as estimators that combine private and social information with different relative weights [Perez-Escudero & de Polavieja 2011, Arganda et al. 2012]. We then computed the geometric mean for increasingly smaller groups by eliminating those using in their estimations higher values of the social influence weight. The trend obtained in this procedure gives unbiased results, in contrast to the simpler method of computing the median of the complete group. Our results show that, while a simple operation like the mean, median or geometric mean of a group may not allow groups to make good estimations, a more complex operation taking into account individuality in the social dynamics can lead to a better collective intelligence.

研究の動機と目的

• 群衆の知恵のシナリオにおいて社会的相互作用が導入された際の、根強いバイアスを是正すること。
• 社会的影響に抵抗し、正確な私的推定値を維持するサブグループを特定すること。
• 個人の社会的影響力の重みの違いを活用して、バイアスのない集団的推定を生み出す手法を開発すること。
• 私的情報よりも社会的情報に基づく自信に重きを置く複雑な集約戦略が、従来の中央値や平均値集約を上回ることを示すこと。

提案手法

• 個人を、ベイズ的フレームワークに従い、私的および社会的情報の相対的重みを異なる割合で組み合わせる推定者としてモデル化する。
• 繰り返し、社会的影響力の重みが高い個人を除外しながら、グループの推定値の幾何平均を計算する。
• 徐々に小さなサブグループに縮小する過程における幾何平均のトレンド分析を通じて、バイアスが最小となる点を同定する。
• 最終的な判断において、私的推定値が社会的情報よりも重み付けされている人物を「自信のある」と定義する。
• 実世界の推定タスクにこの手法を適用し、従来の群衆の知恵のアプローチと比較してバイアス低減の有効性を評価する。
• 社会的影響が精度を低下させる傾向があるとされる推定実験の実証データを用いて、この手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 社会的相互作用は、集団推定精度を低下させるのではなく、向上させるために活用できるか？
• RQ2 特定の人物は社会的影響に抵抗し、より正確な私的推定値を維持するのか？
• RQ3 私的情報と社会的情報の重み付けに基づいて、「自信のある」人物のサブグループを同定できるか？
• RQ4 この自信のあるサブグループの幾何平均を計算することで、集団推定のバイアスが解消されるか？
• RQ5 この手法は、全グループの単純な中央値や平均値集約よりも効果的か？

主な発見

• 私的推定値に対して社会的影響力よりも高い自信を持つサブグループの幾何平均は、バイアスのない集団的推定をもたらす。
• 社会的影響力の重みが高い人物を繰り返し除外することで、バイアスの低下トレンドが生じ、最終的に最小バイアス点に達する。
• この手法は、社会的相互作用が存在する際もバイアスが残る全グループの中央値集約を上回る。
• 従来の群衆の知恵が社会的影響のため失敗するタスクでさえも、このアプローチはバイアスを効果的に排除する。
• 自信に基づくサブグループ選択プロセスは、社会的圧力に耐えながらも正確性を維持する安定的かつ正確な推定者コアを同定する。
• 結果は、適切にモデル化された社会的相互作用が、集団知性を損なうのではなく、強化するために利用可能であることを示している。