[논문 리뷰] Wisdom of the Confident: Using Social Interactions to Eliminate the Bias in Wisdom of the Crowds

Gonzalo G. de Polavieja, Gabriel Madirolas|arXiv (Cornell University)|2014. 06. 30.

Opinion Dynamics and Social Influence참고 문헌 4인용 수 5

한 줄 요약

이 논문은 개인의 사적 추정치에 대한 자신감이 사회적 영향력보다 높은 소수의 개인을 식별하고 이를 활용하여 군중의 지혜에서 편향을 제거하는 방법을 제안한다. 반복적으로 사회적 영향력 가중치가 높은 개인을 제거하고 남은 '자신감 있는' 개인군집의 기하평균을 계산함으로써, 이 방법은 편향이 없는 집단적 추정치를 도출하며, 전체 집단의 단순 중앙값 또는 평균 집계 방식보다 우수한 성능을 보인다.

ABSTRACT

Human groups can perform extraordinary accurate estimations compared to individuals by simply using the mean, median or geometric mean of the individual estimations [Galton 1907, Surowiecki 2005, Page 2008]. However, this is true only for some tasks and in general these collective estimations show strong biases. The method fails also when allowing for social interactions, which makes the collective estimation worse as individuals tend to converge to the biased result [Lorenz et al. 2011]. Here we show that there is a bright side of this apparently negative impact of social interactions into collective intelligence. We found that some individuals resist the social influence and, when using the median of this subgroup, we can eliminate the bias of the wisdom of the full crowd. To find this subgroup of individuals more confident in their private estimations than in the social influence, we model individuals as estimators that combine private and social information with different relative weights [Perez-Escudero & de Polavieja 2011, Arganda et al. 2012]. We then computed the geometric mean for increasingly smaller groups by eliminating those using in their estimations higher values of the social influence weight. The trend obtained in this procedure gives unbiased results, in contrast to the simpler method of computing the median of the complete group. Our results show that, while a simple operation like the mean, median or geometric mean of a group may not allow groups to make good estimations, a more complex operation taking into account individuality in the social dynamics can lead to a better collective intelligence.

연구 동기 및 목표

• 사회적 상호작용이 포함된 군중의 지혜 시나리오에서 지속적인 편향을 해결하기 위해.
• 사회적 영향력에 저항하고 정확한 사적 추정치를 유지하는 개인의 소수군을 식별하기 위해.
• 개인 간의 사회적 영향력 가중치의 차이를 활용하여 편향이 없는 집단적 추정치를 도출하는 방법을 개발하기 위해.
• 사적 정보에 대한 자신감이 사회적 정보보다 더 높은 집합적 집계 전략이 전통적인 중앙값 또는 평균 집계 방식을 능가할 수 있음을 입증하기 위해.

제안 방법

• 개인을 사적 정보와 사회적 정보를 서로 다른 상대적 가중치로 조합하는 추정자로 모델링하고, 베이지안 유사 프레임워크를 사용한다.
• 반복적으로 사회적 영향력 가중치가 높은 개인을 제거하면서 집단 추정치의 기하평균을 계산한다.
• 점차적으로 작아지는 하위군집에서 기하평균의 추세 분석을 통해 최소한의 편향이 발생하는 지점을 식별한다.
• 최종 판단에서 사적 추정치의 가중치가 사회적 정보보다 더 높은 개인을 '자신감 있는' 개인으로 정의한다.
• 실제 세계의 추정 과제에 이 방법을 적용하여 기존 군중의 지혜 접근 방식과 비교해 편향 감소 효과를 평가한다.
• 사회적 영향력이 일반적으로 정확도를 떨어뜨리는 실험 데이터를 활용해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 사회적 상호작용을 활용하여 집단 추정 정확도를 악화시키는 것이 아니라 향상시킬 수 있는가?
• RQ2 일부 개인은 사회적 영향력에 저항하고 더 정확한 사적 추정치를 유지하는가?
• RQ3 사적 정보와 사회적 정보의 가중치 기반으로 '자신감 있는' 개인의 소수군을 식별할 수 있는가?
• RQ4 이 자신감 있는 소수군의 기하평균을 계산함으로써 집단 추정의 편향을 제거할 수 있는가?
• RQ5 이 방법은 전체 집단의 단순 중앙값 또는 평균 집계 방식보다 더 효과적인가?

주요 결과

• 사적 추정치에 대한 자신감이 사회적 영향력보다 높은 개인의 군집에 대한 기하평균은 편향이 없는 집단적 추정치를 도출한다.
• 높은 사회적 영향력 가중치를 가진 개인을 반복적으로 제거하는 과정은 점차 감소하는 편향 추세를 보이며, 최소 편향 지점에 도달한다.
• 이 방법은 사회적 상호작용이 존재할 경우에도 여전히 편향이 있는 전체 집단의 중앙값보다 뛰어난 성능을 보인다.
• 기존 군중의 지혜가 사회적 영향력으로 인해 실패하는 과제들에서도 이 방법은 편향을 성공적으로 제거한다.
• 자신감 기반의 하위군집 선별 과정은 사회적 압력 아래에서도 정확도를 유지하는 안정적이고 정확한 핵심 추정자 집단을 식별한다.
• 결과적으로 사회적 상호작용이 적절히 모델링될 경우, 집단 지능을 약화시키는 것이 아니라 향상시키는 데 사용될 수 있음을 보여준다.