[論文レビュー] Adaptive Contract Design for Crowdsourcing Markets: Bandit Algorithms for Repeated Principal-Agent Problems

Chien-Ju Ho, Aleksandrs Slivkins+1 more|arXiv (Cornell University)|May 12, 2014

Auction Theory and Applications参考文献 48被引用数 6

ひとこと要約

本稿では、リクエスターが時間経過とともに品質連動型報酬を最適化するクラウドソーシング市場における動的契約設計のための新しい適応的バンディットアルゴリズム、AgnosticZoomingを提案する。性能フィードバックに基づいて契約空間の離散化を適応的に refining することで、サブラインハーブレギュレーションを達成し、非適応的離散化よりも著しく優れた性能を発揮する。これは、プリンシパルエージェント問題および動的価格設定の理論を前進させる。

ABSTRACT

Crowdsourcing markets have emerged as a popular platform for matching available workers with tasks to complete. The payment for a particular task is typically set by the task's requester, and may be adjusted based on the quality of the completed work, for example, through the use of "bonus" payments. In this paper, we study the requester's problem of dynamically adjusting quality-contingent payments for tasks. We consider a multi-round version of the well-known principal-agent model, whereby in each round a worker makes a strategic choice of the effort level which is not directly observable by the requester. In particular, our formulation significantly generalizes the budget-free online task pricing problems studied in prior work. We treat this problem as a multi-armed bandit problem, with each "arm" representing a potential contract. To cope with the large (and in fact, infinite) number of arms, we propose a new algorithm, AgnosticZooming, which discretizes the contract space into a finite number of regions, effectively treating each region as a single arm. This discretization is adaptively refined, so that more promising regions of the contract space are eventually discretized more finely. We analyze this algorithm, showing that it achieves regret sublinear in the time horizon and substantially improves over non-adaptive discretization (which is the only competing approach in the literature). Our results advance the state of art on several different topics: the theory of crowdsourcing markets, principal-agent problems, multi-armed bandits, and dynamic pricing.

研究の動機と目的

• リクエスターが時間経過とともに品質連動型報酬を設定するクラウドソーシング市場における動的契約設計問題に対処すること。
• リクエスターとワーカーの相互作用を、努力が観測不能な繰り返しの繰り返しプリンシパルエージェント問題としてモデル化すること。
• リプシッツ連続性の仮定をせず、連続的な契約空間を効率的に探索できるアルゴリズムを開発すること。
• 時間枠に応じてサブラインハーブレギュレーションを達成することで、非適応的離散化手法を改善すること。
• より豊かな、予算フリーでない契約構造を許容する、オンラインタスク価格設定に関する先行研究の一般化すること。

提案手法

• 問題は、各アームが可能な契約を表す非可算無限個のアームを有するマルチアームバンディット問題として定式化される。
• 性能フィードバックに基づいて契約空間を有限のセルに適応的に離散化する新しいアルゴリズム、AgnosticZoomingが提案される。
• 期待効用がより高い領域に焦点を当て、計算リソースを最も重要な場所に集中させるために、その領域の離散化を精緻化する。
• リプシッツ仮定を必要とせず、インデックスに基づく探索戦略を用いてセル間の活用と探索のバランスを取る。
• 滑らかさの仮定がなくても、時間枠に対してサブラインハーブレギュレーションを保証するレギュレーションバウンドを維持する。
• 理論的分析により、AgnosticZoomingが一般および特殊な場合において、均一なメッシュ化よりも優れた性能を示すことが確認された。

実験結果

リサーチクエスチョン

• RQ1 連続的な契約空間を動的プリンシパルエージェント問題で効率的に探索できるバンディットアルゴリズムを設計することは可能か？
• RQ2 適応的離散化は、非適応的（均一な）離散化と比較して、レギュレーション性能をどのように改善するか？
• RQ3 リプシッツ連続性の仮定を除外することで、アルゴリズム設計とレギュレーションバウンドにどのような影響が生じるか？
• RQ4 有限の候補契約の集合を用いて最適契約をどの程度正確に近似できるか？
• RQ5 ワーカーのタイプと努力選択の構造は、動的契約設計のパフォーマンスにどのように影響を与えるか？

主な発見

• AgnosticZoomingアルゴリズムは、時間枠に対してサブラインハーブレギュレーションを達成し、連続的な契約空間でも効率的な学習が可能であることを証明した。
• 特に、最適契約が空間の小さな複雑な領域に位置するような状況では、非適応的離散化よりも顕著に優れた性能を発揮した。
• 理論的分析により、リプシッツ仮定がなくても、適応的精緻化が均一メッシュ化よりもレギュレーションを低減することが確認された。
• 本稿では、単調な契約が最適でない場合があることが示され、一部の状況では非単調な契約設計の必要性が強調された。
• レギュレーションバウンドは頑健であり、ワーカータイプの混合やパラメトリック分布を含むさまざまな特殊ケースに一般化可能である。
• 本研究は、動的契約設計の下界に関する新たな研究分野を切り開き、予算制約付きバンディットモデルとの統合についても示唆を提供した。