[論文レビュー] Approval Voting and Incentives in Crowdsourcing

Nihar B. Shah, Dengyong Zhou+1 more|arXiv (Cornell University)|Feb 19, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 35被引用数 25

ひとこと要約

本稿は、作業者が複数の回答選択肢を選べる承認投票メカニズムを提案し、単一選択手法よりも部分的知識をより効果的に捉えることを可能にする。真の信念を報告するのを促す、厳密に適正で、費用を最小限に抑えたインcentive-compatibleな報酬支払いメカニズムを導入しており、理論的保証とAmazon Mechanical Turkにおける実証的検証を備えている。

ABSTRACT

The growing need for labeled training data has made crowdsourcing an important part of machine learning. The quality of crowdsourced labels is, however, adversely affected by three factors: (1) the workers are not experts; (2) the incentives of the workers are not aligned with those of the requesters; and (3) the interface does not allow workers to convey their knowledge accurately, by forcing them to make a single choice among a set of options. In this paper, we address these issues by introducing approval voting to utilize the expertise of workers who have partial knowledge of the true answer, and coupling it with a ("strictly proper") incentive-compatible compensation mechanism. We show rigorous theoretical guarantees of optimality of our mechanism together with a simple axiomatic characterization. We also conduct preliminary empirical studies on Amazon Mechanical Turk which validate our approach.

研究の動機と目的

• 単一選択インターフェースの限界を解決し、作業者の部分的知識を捉えられないことの問題を是正する。
• 信念の支持を真に報告するのを奨励する報酬メカニズムを設計することで、クラウドソーシングにおけるインセンティブの不一致を是正する。
• 報酬を最小限に抑えつつ、真の信念支持を報告する作業者にのみ期待報酬が最大化されるような、費用効率的で厳密に適正なスコアリングルールを開発する。
• 理論的分析により、粗い信念仮定のもとで、インcentive-compatibleかつ費用効率的である唯一のメカニズムが存在することが示される。
• Amazon Mechanical Turkにおける予備的実験を通じて、本手法の実証的検証を行い、ラベル品質の向上と作業者の誠実な報告を実証する。

提案手法

• 作業者が正しいと信じる複数の選択肢を選べる承認投票インターフェースを導入し、単一選択ではなく複数選択を可能にする。
• 作業者の信念を選択肢上の確率分布としてモデル化し、モードではなく非ゼロの信念を持つ選択肢の集合（支持）を収集する。
• 作業者が真の信念支持を報告する場合にのみ期待報酬が最大化されるような、厳密に適正なスコアリングルールに基づく報酬メカニズムを設計する。
• 粗い信念仮定（信念が十分に粗く、自信の小さな変化を区別できる）のもとで、メカニズムがインcentive-compatibleかつ費用効率的であることを証明する。
• 公理的特徴付けを用いて一意なメカニズム構造を導出し、すべての有効なメカニズムが基本関数の線形結合であることを示す。
• 複数タスク設定に本メカニズムを適用するため、タスク間で応答を集約し、作業者が他のタスクの答えを知っている場合でもインセンティブ構造が保たれることを証明する。

実験結果

リサーチクエスチョン

• RQ1 承認投票により、複数選択を許容することで、作業者が部分的知識を表現できるようになることで、ラベル品質が向上するか？
• RQ2 承認投票設定において、作業者が信念支持を真に報告するのを保証するインcentive-compatibleな報酬メカニズムを設計することは可能か？
• RQ3 この文脈において、厳密に適正かつ費用効率的であるようにするため、報酬メカニズムが満たすべき制約は何か？
• RQ4 Amazon Mechanical Turkのような実世界のラベリングタスクに適用した場合、このメカニズムはどのように性能を発揮するか？
• RQ5 このようなメカニズムを設計する際の理論的制限は何か？どのような仮定のもとでそれらを克服できるか？

主な発見

• 本稿は、追加の仮定なしに、一般の承認投票設定ではインcentive-compatibleなメカニズムが存在しないことを証明し、根本的な不可能性結果を確立する。
• 粗い信念仮定のもと（信念が十分に粗く、自信の小さな変化を区別できる）、提案されたメカニズムは、唯一かつ厳密に適正で費用効率的なものとして一意に特徴付けられる。
• このメカニズムは、作業者が信念の支持を真に報告する場合にのみ期待報酬が最大化されることを保証し、戦略的な過剰または不十分な報告を防止する。
• 理論的分析により、報酬関数は自由度が2つであることが示され、2つの重要な点における振る舞いによって、スケールとシフトを除き完全に決定される。
• Amazon Mechanical Turkにおける実証的評価により、承認投票インターフェースが単一選択よりも高品質なラベルとより誠実な報告をもたらすことが確認された。
• 特に作業者が部分的知識を持っているが正確な答えに確信が持てない状況では、標準的な単一選択手法よりも本メカニズムが正しいラベルを特定する能力に優れている。