[論文レビュー] Online Decision Making in Crowdsourcing Markets: Theoretical Challenges (Position Paper)

Aleksandrs Slivkins, Jennifer Wortman Vaughan|arXiv (Cornell University)|Aug 8, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 42被引用数 10

ひとこと要約

この位置付け論文は、クラウドソーシング市場におけるオンライン意思決定のモデリングにおける根幹的な理論的課題を特定し、多様なプラットフォーム設計、作業者間の多様性、人的行動の複雑さの統合の難しさに焦点を当てる。動的価格設定、タスク割り当て、探索と活用のトレードオフに関するアルゴリズム設計における比較可能性と進展を可能にするため、原則に基づいたモデリングを提唱する。

ABSTRACT

Over the past decade, crowdsourcing has emerged as a cheap and efficient method of obtaining solutions to simple tasks that are difficult for computers to solve but possible for humans. The popularity and promise of crowdsourcing markets has led to both empirical and theoretical research on the design of algorithms to optimize various aspects of these markets, such as the pricing and assignment of tasks. Much of the existing theoretical work on crowdsourcing markets has focused on problems that fall into the broad category of online decision making; task requesters or the crowdsourcing platform itself make repeated decisions about prices to set, workers to filter out, problems to assign to specific workers, or other things. Often these decisions are complex, requiring algorithms that learn about the distribution of available tasks or workers over time and take into account the strategic (or sometimes irrational) behavior of workers. As human computation grows into its own field, the time is ripe to address these challenges in a principled way. However, it appears very difficult to capture all pertinent aspects of crowdsourcing markets in a single coherent model. In this paper, we reflect on the modeling issues that inhibit theoretical research on online decision making for crowdsourcing, and identify some steps forward. This paper grew out of the authors' own frustration with these issues, and we hope it will encourage the community to attempt to understand, debate, and ultimately address them. The authors welcome feedback for future revisions of this paper.

研究の動機と目的

• オンライン意思決定のためのクラウドソーシング市場における理論的進展を妨げる主なモデリング課題を特定し、明確化すること。
• アマゾン・メカニカル・トゥーカーのような現実世界のプラットフォームをモデル化することと、新しい特徴を備えた前向きなプラットフォームの設計との間の緊張を浮き彫りにすること。
• 作業者のスキルレベルやタスクの難易度の違いを含む、タスクと作業者の多様性が、アルゴリズム設計を複雑にする点を扱うこと。
• 戦略的かつ非合理的な人的行動が、アルゴリズムのパフォーマンスとプラットフォーム設計に与える影響を検討すること。
• 意味のある比較とクラウドコンピューティングシステムにおけるアルゴリズム的手法の進展を可能にする、原則的で統一されたモデリングフレームワークの提唱

提案手法

• マルチアームド・バンディット、動的価格設定、探索と活用のトレードオフを含む、オンライン意思決定における既存の理論的枠組みを分析する。
• 非適応的探索と適応的探索戦略の違いを明確にし、後者の学習とパフォーマンスのバランスを取れる能力を強調する。
• 行動空間の離散化（例：価格セット）を検討し、事前の観測に基づく適応的離散化を、動的調達における収束を向上させる手法として提案する。
• 探索と活用のバランスを取るための上界信頼区間やインデックスの既存のアルゴリズム的手法をレビューする。
• モデルが、作業者の戦略的行動と制限付き合理的性（bounded rationality）の両方を考慮する必要があることを提唱する。特にアンカーリング効果のような現象を含む。
• 現実性と理論的取り扱いやすさのバランスを取る分野特化型モデルの開発を奨励する。同時に、論文間の比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングにおけるオンライン意思決定のための統一的理論的フレームワークを妨げる根本的なモデリング課題は何か？
• RQ2 特に既存のアーキテクチャと新しいアーキテクチャの間の選択が、アルゴリズム的問題の定式化にどのように影響を与えるか？
• RQ3 作業者の多様性（スキル、コスト認識、タスク好ましさ）は、タスク割り当てと価格設定におけるアルゴリズム設計をどの程度複雑にするか？
• RQ4 意思決定システムにおいて、コストの誤認知やアンカーリング効果のような非合理的な人的行動をモデルがどのように扱えるか？
• RQ5 適応的探索は、動的クラウドソーシング環境におけるパフォーマンス向上にどのような役割を果たすか？実際にはどのように形式化できるか？

主な発見

• プラットフォームの多様性、作業者間の多様性、人的行動の複雑さの相互作用のため、クラウドソーシング市場の統一的理論的モデルは依然として実現されていない。
• 非適応的探索戦略（例：固定回数のテスト）は最悪ケース性能を最適化できるが、有望なアクションを十分に活用できない可能性がある。
• 適応的探索（インデックスや上界信頼区間を用いる）は、より有望なアクションに集中することで、学習と報酬のバランスを取ることで、より良いパフォーマンスを実現できる。
• 価格空間の離散化は必須の簡素化であるが、事前の観測に基づく適応的離散化により、最適価格への収束が加速される。
• 理論的モデルは、作業者に一般的に見られる制限付き合理的性や行動バイアス（例：アンカーリング）を考慮する必要があるが、これらは通常のアルゴリズム枠組みでは無視されがちである。
• 共通のモデリングベースラインの欠如は、研究間の比較を阻害し、実世界での実装におけるアルゴリズム的主張の整合性を制限している。