[논문 리뷰] Crowd IQ -- Aggregating Opinions to Boost Performance

Yoram Bachrach, Thore Graepel외 3명|arXiv (Cornell University)|2024. 10. 13.

Mobile Crowdsensing and Crowdsourcing참고 문헌 33인용 수 55

한 줄 요약

이 논문은 집단의 집단지능을 측정하기 위해 레이븐 표준 진행형 매트릭스(SPM) 지능검사 항목에 대한 개인의 응답을 다수결 투표 또는 확률적 기계학습 모델을 사용해 집계하는 방법인 Crowd IQ를 소개한다. 그 결과, 집단 규모가 커질수록 Crowd IQ는 급격히 증가하지만 어느 정도에 도달하면 포화 상태에 이르며, 동질적인 집단의 경우 심지어 가장 높은 개인의 지능보다도 크게 뛰어나게 된다. 이는 집단 집계가 최고의 개인 멤버를 초월할 수 있음을 보여준다.

ABSTRACT

We show how the quality of decisions based on the aggregated opinions of the crowd can be conveniently studied using a sample of individual responses to a standard IQ questionnaire. We aggregated the responses to the IQ questionnaire using simple majority voting and a machine learning approach based on a probabilistic graphical model. The score for the aggregated questionnaire, Crowd IQ, serves as a quality measure of decisions based on aggregating opinions, which also allows quantifying individual and crowd performance on the same scale. We show that Crowd IQ grows quickly with the size of the crowd but saturates, and that for small homogeneous crowds the Crowd IQ significantly exceeds the IQ of even their most intelligent member. We investigate alternative ways of aggregating the responses and the impact of the aggregation method on the resulting Crowd IQ. We also discuss Contextual IQ, a method of quantifying the individual participant's contribution to the Crowd IQ based on the Shapley value from cooperative game theory.

연구 동기 및 목표

• 집단지능의 질이 어떻게 향상되는지, 집단소싱 환경에서 개인의 의견을 집계함으로써 결정 품질이 향상되는지 연구한다.
• 집계된 집단 결정의 성능을 평가하기 위한 표준화되고 확장 가능한 척도인 'Crowd IQ'를 개발한다.
• 셰플리 값 기반의 맥락적 지능을 사용해 개인의 기여도를 정량화한다.
• 다수결 투표와 기계학습 간의 집계 방법에 따른 집단 성능의 효과를 비교한다.

제안 방법

• 간단한 다수결 투표(MAJ)와 정확도를 향상시키기 위한 확률적 그래픽 모델(ML)을 사용해 SPM 지능검사 항목에 대한 개인의 응답을 집계한다.
• 표준 지능지수(IQ) 스케일링 절차를 사용해 집계된 응답을 평가하여 통합된 'Crowd IQ' 점수를 도출한다.
• 협동게임 이론, 특히 셰플리 값(Shapley value)을 적용하여 각 개인의 전체 Crowd IQ에 대한 맥락적 지능 기여도를 계산한다.
• 각 응답을 집계 대상이 되는 의견으로 간주하고, 독립적으로 SPM 항목에 응답한 참가자들의 실증 데이터를 사용한다.
• 다양한 집단 규모와 구성에 따라 성능을 비교함으로써 포화 효과와 다양성의 이점을 연구한다.
• 다양한 집계기법에서 개인의 지능과 맥락적 지능 간 상관관계를 분석함으로써 결과의 타당성을 검증한다. 이는 두 방법 간 높은 일관성을 보여준다.

실험 결과

연구 질문

• RQ1 집단 규모가 증가함에 따라 집계된 결정의 질은 어떻게 변화하는가?
• RQ2 집단의 집단지능이 그 집단의 가장 능력 있는 개인의 지능을 크게 초월할 수 있는가?
• RQ3 다수결 투표와 기계학습 간의 다른 집계 방법이 결과로 나타나는 Crowd IQ에 어떤 영향을 미치는가?
• RQ4 개인의 Crowd IQ에 대한 기여도가 그들의 지능 수준뿐 아니라 그룹 맥락에서 그들의 응답이 얼마나 독특한지에 따라 어느 정도 좌우되는가?
• RQ5 셰플리 값에서 유도된 맥락적 지능은 개인의 집단 성과 기여도를 신뢰할 수 있고 해석 가능한 척도로 제공할 수 있는가?

주요 결과

• Crowd IQ는 집단 규모가 커질수록 급격히 증가하지만, 어느 정도에 도달하면 포화 상태에 이르며, 이는 특정 집단 규모 이후 수익 감소 현상이 있음을 시사한다.
• 작은 동질적 집단의 경우, Crowd IQ는 그 안에 있는 가장 지능이 높은 개인의 지능보다도 뚜렷하게 높다.
• 기계학습 집계기의 성능은 다수결 투표를 略로 뛰어넘지만, 그 차이는 일관되게 크거나 통계적으로 유의미하지 않다.
• 셰플리 값에서 유도된 맥락적 지능은 MAJ와 ML 집계기 간 상관관계가 매우 높다(r > 0.95)는 점에서 두 방법 간의 강인함을 보여준다.
• 개인의 Crowd IQ에 대한 기여도는 그들의 지능 수준뿐 아니라 그룹 내에서 그들의 응답이 얼마나 독특한지에 따라 영향을 받는다.
• 이질적인 집단에서는 가장 성과가 뛰어난 개인을 식별하고 그들의 의견에 의존하는 것이 모든 의견을 집계하는 것보다 더 좋은 결과를 낳지만, 동질적인 집단에서는 집계가 항상 전문가 개인의 성과를 뛰어넘는다.