[論文レビュー] Peer Truth Serum: Incentives for Crowdsourcing Measurements and Opinions

Boi Faltings, Radu Jurca+1 more|arXiv (Cornell University)|Apr 18, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 20被引用数 5

ひとこと要約

本論文は、ランダムに選ばれた他の参加者との一致性に基づいて報酬を支給することで、真実かつ正確な報告を促す、新しいインcentiveメカニズムであるPeer Truth Serum (PTS) を提案する。このメカニズムは、共通の事後確信や真の事実を前提としないという点で特異的であり、インcentive互換性といった重要な性質を満たしている。実験の結果、センシング、ヒューマンコンピューティング、および意見調査の分野において、バイアスやゲームの影響を効果的に低減することが示された。

ABSTRACT

Modern decision making tools are based on statistical analysis of abundant data, which is often collected by querying multiple individuals. We consider data collection through crowdsourcing, where independent and self-interested agents, non-experts, report measurements, such as sensor readings, opinions, such as product reviews, or answers to human intelligence tasks. Since the accuracy of information is positively correlated with the effort invested in obtaining it, self-interested agents tend to report low-quality data. Therefore, there is a need for incentives that cover the cost of effort, while discouraging random reports. We propose a novel incentive mechanism called Peer Truth Serum that encourages truthful and accurate reporting, showing that it is the unique mechanism to satisfy a combination of desirable properties.

研究の動機と目的

• 共通の事後確信や真の事実が存在しない状況においても、自己利益をもつ非専門家が正確な測定値や意見を報告するのを促すインcentiveメカニズムを設計すること。
• 真の事実が不明または入手不可能な状況において、高品質なデータを提供するインcentiveを提供する課題に取り組むこと。
• 共通の事後確信や外部の真実の検証を必要とせず、インcentive互換性を満たすメカニズムを開発すること。
• 参加者が他の参加者との報告の一貫性に基づいて報酬を受け取ることで、真実を報告することが支配戦略となるように保証すること。
• コミュニティセンシングや意見調査といった実世界の応用分野において、このメカニズムのコラージュやバイアスに対するロバストネスを評価すること。

提案手法

• メカニズムは、参加者同士の報告の一貫性に基づく：参加者は、ランダムに選ばれた他の参加者の報告とどれだけ一致しているかに基づいてスコア付けされる。
• 参加者が測定対象の変数の分布について共通の事前確信を持つと仮定するが、必ずしも共通の事後確信を持つとは限らない。
• スコアリングルールは、真の事実ではなく、他の参加者との一貫性に基づくように変更された適切なスコアリングルールの変種を用いる。
• 真実を報告することが、他の参加者の報告にかかわらず期待報酬を最大化するように設計されており、インcentive互換性を満たしている。
• 情報のない参加者に報酬を支給しないように設計されており、参加者が情報を持つ場合、漸近的に真の分布に収束する。
• コラージュに対する耐性を高めるために、同じラウンドにおける類似現象の報告の平均値を用いるPTSの変種が提案されている。

実験結果

リサーチクエスチョン

• RQ1 真の事実に依存せずに、クラウドソーシングにおいて真実の報告を促すメカニズムを設計することは可能か？
• RQ2 参加者が共通の事後確信を持たない状況でも、インcentive互換性を維持することは可能か？
• RQ3 外部の真実の検証を必要とせず、正確で一貫性のある報告に対してのみ報酬を支給するメカニズムは、どのように実現できるか？
• RQ4 コラージュがメカニズムのパフォーマンスに与える影響は何か？また、それを軽減できるか？
• RQ5 このメカニズムは、コミュニティセンシングや意見調査といった実世界のクラウドソーシング応用に効果的に適用可能か？

主な発見

• Peer Truth Serumは、共通の事後確信を必要としないインcentive互換性を満たすという、望ましい性質の組み合わせを独自に満たしている。
• コミュニティセンシングの実験では、実際の測定値を報告する方が、定数や現在の予測値のような架空のデータを報告するよりも著しく高い報酬を得ることが示された。
• 報告の正確性が向上するほど報酬も増加し、努力と報酬の強い対応関係が確認された。
• システムをねじ込むには多数の参加者のコラージュが必要であるため、個別の操作に対してはロバストであることが示された。
• ヒューマンコンピューティングタスクでは、PTSから導かれたボーナス制度が、Amazon Mechanical Turkにおける作業者の回答に存在する系統的なバイアスを効果的に排除した。
• オンライン意見調査では、真の結果が一切判明しない質問に対しても、PTSは古典的な予測市場と同等の予測精度を達成した。