[논문 리뷰] Social Bayesian Learning in the Wisdom of the Crowd

Dhaval Adjodah, Yan Leng외 3명|arXiv (Cornell University)|2017. 12. 28.

Advanced Text Analysis Techniques참고 문헌 8인용 수 3

한 줄 요약

이 논문은 인구 예측 과제에서 개인이 사회적 정보에 어떻게 반응하여 자신의 믿음을 갱신하는지 정확하게 포착하는 사회적 베이지안 모델을 제안한다. 사전 및 사후 사회적 예측과 동료 분포 히스토GRAM을 활용함으로써, DeGroot와 같은 기존 모델 대비 평균 절대 오차 감소율에서 최대 147.1% 향상되며, 믿음 갱신을 더 정확하게 표현하고 개인 간 믿음 상관관계 추정을 통해 개선된 집계를 가능하게 한다.

ABSTRACT

Being able to correctly aggregate the beliefs of many people into a single belief is a problem fundamental to many important social, economic and political processes such as policy making, market pricing and voting. Although there exist many models and mechanisms for aggregation, there is a lack of methods and literature regarding the aggregation of opinions when influence and learning between individuals exist. This is in part because there are not many models of how people update their belief when exposed to the beliefs of others, and so it is hard to quantify the dependencies between people's mental models which is essential to minimizing redundancies in the aggregation. In this paper, we explore many models of how users influence and learn from each other, and we benchmark our models against the well-known DeGroot model. Our main contributions are: 1) we collect a new dataset of unprecedented size and detail to be posted online; 2) we develop a new Social Bayesian model of how people update their mental models, 3) we compare of our model to other well-known social learning models. Specifically, we show that our new Social Bayesian model is superior to the other models tested.

연구 동기 및 목표

• 지혜의 무리에서 사회적 영향력과 학습을 고려한 믿음 집계 모델의 부족을 해결하기 위해.
• 다른 사람들의 예측에 노출된 후 개인이 어떻게 믿음을 갱신하는지 더 정확한 모델을 개발하기 위해.
• 믿음 분포를 사용하여 개인 간 믿음 상관관계를 추정함으로써 집계의 중복을 줄이기 위해.
• DeGroot 및 단순 베이지안 접근법과 같은 기존 모델과의 비교를 통해 신규 모델을 평가하기 위해.
• 미래의 사회적 학습 및 믿음 집계 연구를 위한 사상 초월로 큰 규모와 높은 세부 정보를 갖춘 데이터셋을 제공하기 위해.

제안 방법

• 모델은 사전 사회적 믿음과 관측된 사회적 정보(동료 예측의 평균)를 기반으로 사후 사회적 믿음을 베이지안 갱신을 통해 추정한다.
• 사후 사회적 믿음이 주어지면 사회적 정보와 사전 믿음 간 조건부 독립을 가정하며, 이 가정은 수치적 공동 분포 추정을 통해 검증된다.
• 믿음 분포를 상자로 이산화하여 공동 확률를 계산하고 모델의 적합도를 검증한다.
• 모델은 일곱 번의 라운드 데이터에서 예측된 사후 사회적 예측과 실제 값 간의 평균 절대 오차(MAE)를 사용해 평가된다.
• 정규/균일 사전 확률, 경험적/사회적 가능도, 사후 모드/평균을 조합한 다양한 대안 모델을 테스트한다.
• 모델의 우수성은 DeGroot 기준선 대비 오차 감소율을 비교하여 정량화된다.

실험 결과

연구 질문

• RQ1 사람들은 커뮤니티 예측 과제에서 다른 이들의 예측에 노출되었을 때 믿음을 어떻게 갱신하는가?
• RQ2 사회적 베이지안 모델은 DeGroot나 단순 베이지안 접근법과 비교해 인간의 믿음 갱신을 얼마나 더 잘 포착하는가?
• RQ3 사회적 베이지안 모델을 통해 추정한 믿음 분포는 믿음 간 개인 간 의미 있는 상관관계를 드러내는가?
• RQ4 브렉시트나 트럼프 선거와 같은 다양한 시장 조건에서 모델의 성능은 어떻게 변화하는가?
• RQ5 모델에서 유도된 믿음 상관계수는 지혜의 무리 집계의 정확도를 향상시킬 수 있는가?

주요 결과

• 1라운드에서 사회적 베이지안 모델은 최고의 기준선 모델 대비 평균 절대 오차를 54.2% 감소시켰으며, 모든 라운드에서 2.0%에서 147.1%까지 개선이 이루어졌다.
• 4라운드에서는 기준선 대비 58.9% 향상되었고, 7라운드에서는 147.1% 향상되어 다양한 조건 하에서도 뛰어난 성능을 보였다.
• 모델의 오차는 DeGroot, 단순 베이지안 변형, 확률적 학습 모델을 포함한 모든 테스트된 모델보다 일관되게 낮았다.
• 믿음 분포를 표현할 수 있는 능력 덕분에, 카우프만-라이블러 발산과 같은 지표를 사용해 개인 간 믿음 상관관계를 추정할 수 있었다.
• 모델의 뛰어난 적합도는 사회적 영향력과 학습 동역학이 선형 평균화나 단순 독립성 가정보다 베이지안 갱신을 통해 더 잘 포착된다는 것을 시사한다.
• 수집한 데이터셋—7라운드 동안 2,037명의 학생으로부터 17,420개의 예측을 포함하며 주요 시장 이벤트 기간 동안의 데이터를 포함—는 향후 사회적 학습 및 믿음 집계 연구를 위한 풍부한 자원을 제공한다.