[論文レビュー] Crowd IQ -- Aggregating Opinions to Boost Performance

Yoram Bachrach, Thore Graepel+3 more|arXiv (Cornell University)|Oct 13, 2024

Mobile Crowdsensing and Crowdsourcing参考文献 33被引用数 55

ひとこと要約

本稿では、多数決や確率的機械学習モデルを用いて、Ravenの標準進行形行列（SPM）IQテストの項目に対する個人の回答を集約することで、集団知能を測定する手法であるCrowd IQを紹介する。集団知能は群の規模が増大するにつれて急速に向上するが、やがて飽和に達し、同質な集団では、最高の個人のIQでさえも大きく上回ることが示された。これは、集団の集約が、最も優れた個人メンバーを上回ることさえあることを示している。

ABSTRACT

We show how the quality of decisions based on the aggregated opinions of the crowd can be conveniently studied using a sample of individual responses to a standard IQ questionnaire. We aggregated the responses to the IQ questionnaire using simple majority voting and a machine learning approach based on a probabilistic graphical model. The score for the aggregated questionnaire, Crowd IQ, serves as a quality measure of decisions based on aggregating opinions, which also allows quantifying individual and crowd performance on the same scale. We show that Crowd IQ grows quickly with the size of the crowd but saturates, and that for small homogeneous crowds the Crowd IQ significantly exceeds the IQ of even their most intelligent member. We investigate alternative ways of aggregating the responses and the impact of the aggregation method on the resulting Crowd IQ. We also discuss Contextual IQ, a method of quantifying the individual participant's contribution to the Crowd IQ based on the Shapley value from cooperative game theory.

研究の動機と目的

• 集約された個人の意見が、クラウドソーシングの文脈で意思決定の質をどのように向上させるかを調査すること。
• 集約されたクラウド意思決定のパフォーマンスを評価するための標準的でスケーラブルな指標「Crowd IQ」を構築すること。
• Shapley値に基づく文脈的IQを用いて、個人の集団知能への貢献度を定量化すること。
• 多数決と機械学習の2つの異なる集約手法が、集団パフォーマンスに与える影響を比較すること。

提案手法

• SPM IQテストの項目に対する個人の回答を、単純な多数決（MAJ）と確率的グラフィカルモデル（ML）を用いて集約し、精度を向上させる。
• 標準的なIQスケーリング手順を用いて集約された回答をスコア化し、総合的な「Crowd IQ」スコアを導出する。
• 協力ゲーム理論、特にShapley値を用いて、各個人が全体のCrowd IQに与える文脈的貢献度を計算する。
• 参加者が独立してSPMの項目に回答した実証データを用い、各回答を集約対象の意見として扱う。
• 群の規模や構成の違いを比較することで、飽和効果や多様性による利点を検証する。
• 異なる集約器における個人IQと文脈的IQの相関を測定することで結果を検証し、両手法間で高い一貫性が確認された。

実験結果

リサーチクエスチョン

• RQ1 集団の規模が拡大するにつれて、集約意思決定の質はどのように変化するか？
• RQ2 集団の集団知能は、その中で最も能力の高い個人の知能を著しく上回ることができるか？
• RQ3 多数決と機械学習の異なる集約手法は、結果としてのCrowd IQにどのように影響を与えるか？
• RQ4 個人がCrowd IQに貢献する程度は、そのIQ値と、群における回答の独自性の両方に依存するか？
• RQ5 Shapley値から導出される文脈的IQは、個人の集団パフォーマンスへの貢献を信頼性高くかつ解釈可能に測定できるか？

主な発見

• Crowd IQは群の規模が増大するにつれて急速に向上するが、やがて飽和に達し、特定の群の規模を超えると収益逓減が顕著になる。
• 小規模で同質な集団では、Crowd IQは、群に属する最も知的な個人のIQを著しく上回る。
• 機械学習による集約器のパフォーマンスは、多数決に比べわずかに優れているが、差は一貫して大きくなく、統計的に有意ではない。
• Shapley値から導出された文脈的IQは、MAJとMLの両集約器間で高い相関（r > 0.95）を示し、手法にかかわらず一貫性があることが確認された。
• 個人のCrowd IQへの貢献は、IQ値だけでなく、群内におけるその回答の独自性にも依存する。
• 多様性のある集団では、最もパフォーマンスの良い個人に依存する方が、全意見を集約するよりも優れた結果をもたらすが、同質な集団では、集約が常に個々の専門家を上回る。