[論文レビュー] Social Bayesian Learning in the Wisdom of the Crowd

Dhaval Adjodah, Yan Leng+3 more|arXiv (Cornell University)|Dec 28, 2017

Advanced Text Analysis Techniques参考文献 8被引用数 3

ひとこと要約

本稿では、クラウドソーシング予測タスクにおける個人の社会的情報への反応としての信念の更新を正確に捉えるためのソーシャルベイジアンモデルを提案する。事前および事後の社会的予測と同僚の予測分布ヒストグラムを活用することで、DeGrootモデルなど既存のモデルと比較して平均絶対誤差の低減率が最大147.1%まで向上し、信念の更新をより正確に表現するとともに、個人間の信念相関の推定を可能にすることで、集約の精度を向上させる。

ABSTRACT

Being able to correctly aggregate the beliefs of many people into a single belief is a problem fundamental to many important social, economic and political processes such as policy making, market pricing and voting. Although there exist many models and mechanisms for aggregation, there is a lack of methods and literature regarding the aggregation of opinions when influence and learning between individuals exist. This is in part because there are not many models of how people update their belief when exposed to the beliefs of others, and so it is hard to quantify the dependencies between people's mental models which is essential to minimizing redundancies in the aggregation. In this paper, we explore many models of how users influence and learn from each other, and we benchmark our models against the well-known DeGroot model. Our main contributions are: 1) we collect a new dataset of unprecedented size and detail to be posted online; 2) we develop a new Social Bayesian model of how people update their mental models, 3) we compare of our model to other well-known social learning models. Specifically, we show that our new Social Bayesian model is superior to the other models tested.

研究の動機と目的

• クラウドの知恵における信念集約において、社会的影響および学習を考慮したモデルの不足を解消すること。
• 他者の予測にさらされた後、個人がどのように信念を更新するかをより正確にモデル化すること。
• 信念分布を用いて個人間の信念相関を推定し、集約における冗長性を低減すること。
• DeGroot やナイーブベイジアンアプローチといった既存のモデルと比較して、新しいモデルの性能をベンチマークすること。
• 今後の社会的学習および信念集約に関する研究のための、前例のない規模と詳細さを持つデータセットを提供すること。

提案手法

• モデルはベイズ更新を用いて、事前信念と観察された社会的情報（同僚の予測平均）に基づき、事後の社会的信念を推定する。
• 事後信念が与えられたもとで、社会的情報と事前信念が条件付き独立であると仮定し、数値的関連分布推定を用いてこの仮定を検証する。
• 信念分布をビンに離散化して関連確率を計算し、モデルの適合度を検証する。
• 7ラウンドにわたるデータにおいて、予測された事後の社会的予測と実際の値との間の平均絶対誤差（MAE）を用いてモデルを評価する。
• 正規/一様事前分布、経験的/社会的尤度、事後分布のモード/平均の組み合わせを用いた代替モデルをテストする。
• DeGrootベースラインと比較した誤差低減率を用いて、モデルの優位性を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシング環境において、他者の予測にさらされた個人はどのように信念を更新するか？
• RQ2 ソーシャルベイジアンモデルは、DeGroot やナイーブベイジアンアプローチといった既存のモデルと比較して、人間の信念更新をどの程度よりよく捉えられるか？
• RQ3 ソーシャルベイジアンモデルを用いて推定された信念分布は、信念における意味のある個人間相関を明らかにできるか？
• RQ4 ブレグジットやトランプ大統領選挙のような異なる市場状況において、モデルの性能はどのように変化するか？
• RQ5 モデルから導出される信念相関測度は、クラウドの知恵の集約精度を向上させることができるか？

主な発見

• 1ラウンドにおいて、ソーシャルベイジアンモデルは最良のベースラインモデルと比較して平均絶対誤差を54.2%低減した。全ラウンドにわたる改善率は2.0%から147.1%まで変動した。
• 4ラウンド目には、ベースライン比で58.9%の改善が達成され、7ラウンド目には147.1%の改善が達成された。これは多様な条件下でも優れた性能を示している。
• このモデルの誤差は、DeGroot やナイーブベイジアンの変種、確率的学習モデルを含む、全テストモデルと比較して一貫して低かった。
• 信念分布を表現できる能力のおかげで、Kullback-Leibler距離などの指標を用いて、個人間の信念相関を推定できるようになった。
• モデルの優れた適合度は、線形平均や単純な独立性仮定よりも、ベイズ更新が社会的影響および学習ダイナミクスをよりよく捉えられることを示唆している。
• 収集したデータセット（7ラウンドにわたる2,037名の学生による17,420件の予測、主要な市場イベントを含む）は、今後の社会的学習および信念集約に関する研究の貴重なリソースである。