[論文レビュー] Inference Aided Reinforcement Learning for Incentive Mechanism Design in Crowdsourcing

Zehong Hu, Yitao Liang+3 more|arXiv (Cornell University)|Jan 1, 2018

Mobile Crowdsensing and Crowdsourcing被引用数 11

ひとこと要約

本稿では、作業者の行動に関する事前知識がなくても動的に報酬を設定する強化学習に基づくインcentiveメカニズムを提案する。Gibbsサンプリングを用いたリアルタイムでの作業者戦略推定と、新規の強化学習インcentive学習（RIL）フレームワークを組み合わせることで、即時的および長期的に合理的な作業者から高品質なラベルを引き出すことが可能となり、静的メカニズムに比べて頑健性と分散低減の面で優れている。

ABSTRACT

Incentive mechanisms for crowdsourcing are designed to incentivize financially self-interested workers to generate and report high-quality labels. Existing mechanisms are often developed as one-shot static solutions, assuming a certain level of knowledge about worker models (expertise levels, costs for exerting efforts, etc.). In this paper, we propose a novel inference aided reinforcement mechanism that acquires data sequentially and requires no such prior assumptions. Specifically, we first design a Gibbs sampling augmented Bayesian inference algorithm to estimate workers' labeling strategies from the collected labels at each step. Then we propose a reinforcement incentive learning (RIL) method, building on top of the above estimates, to uncover how workers respond to different payments. RIL dynamically determines the payment without accessing any ground-truth labels. We theoretically prove that RIL is able to incentivize rational workers to provide high-quality labels both at each step and in the long run. Empirical results show that our mechanism performs consistently well under both rational and non-fully rational (adaptive learning) worker models. Besides, the payments offered by RIL are more robust and have lower variances compared to existing one-shot mechanisms.

研究の動機と目的

• 作業者スキルやコストに関する強い仮定に依存する既存のワンショットインcentiveメカニズムの制限を解消すること。
• 観察されたラベリング行動に基づき、リアルタイムで報酬を動的に調整する動的インcentiveメカニズムを設計すること。
• 正解ラベルや作業者モデルに関する事前知識がなくても、合理的な作業者から高品質なラベル生成を可能にすること。
• 適応的学習と推論を通じて、短期的および長期的インセンティブを確保すること。
• 従来の静的メカニズムと比較して、報酬の分散低減と頑健性の向上を実現すること。

提案手法

• 各ステップで観察されたラベルから、Gibbsサンプリングを用いて作業者のラベリング戦略を推定し、その潜在的行動と反応パターンを推定する。
• 推定された作業者戦略を強化学習フレームワークに統合し、報酬水準の変化に対する作業者の反応をモデル化する。
• 推定された作業者反応に基づき、最適な報酬を動的に決定する強化学習インcentive学習（RIL）アルゴリズムを開発する。
• 正解ラベルにアクセスせずに、推定された作業者戦略を用いて報酬ポリシーをシミュレートおよび最適化する。
• 学習の目的関数を、予想されるラベル品質の最大化と予算制約およびインセンティブ適合性の維持として定式化する。
• 形式的証明により、インcentive適合均衡への理論的収束を保証し、短期的および長期的有効性を確立する。

実験結果

リサーチクエスチョン

• RQ1 作業者行動に関する強い仮定がなくても、高品質なラベルを引き出すことができる動的インcentiveメカニズムを設計できるか？
• RQ2 観察されたラベルからリアルタイムで作業者のラベリング戦略を正確に推定できるか？
• RQ3 正解ラベルが入手不可な状況下でも、強化学習を用いて最適な報酬を決定できるか？
• RQ4 提案されたメカニズムは、複数ラウンドの相互作用において合理的な作業者に対して強いインセンティブを維持できるか？
• RQ5 RILメカニズムは、静的メカニズムと比較して、報酬の頑健性および分散の面で優れているか？

主な発見

• 理論的分析により、RILメカニズムが短期的および長期的に合理的な作業者を高品質なラベル提供に誘導できることを示した。
• 実験的評価により、合理的な作業者および非完全に合理的（適応的学習）な作業者モデルの両方において一貫した性能を発揮した。
• RILが生成する報酬は、既存のワンショットメカニズムと比較して顕著に分散が低く、安定性が優れていることを示した。
• メカニズムは正解ラベルにアクセスせずに動作し、観察されたラベリングパターンと推定された戦略にのみ依存する。
• Gibbsサンプリングに基づく推論部は作業者行動を効果的に捉えており、報酬変更に対する反応を正確に予測可能である。
• 特に、作業者特性が不確実または変化する環境において、静的メカニズムに比べて優れた頑健性を示した。