[論文レビュー] Task Recommendation in Crowdsourcing Based on Learning Preferences and Reliabilities

Qiyu Kang, Wee Peng Tay|arXiv (Cornell University)|Jul 27, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 33被引用数 4

ひとこと要約

本稿は、報酬のないゴールドタスク（正解が分かっているが報酬のないタスク）を用いて作業者の好みと信頼性を学習する、クラウドソーシングにおけるタスク推薦のためのマルチアームバンディット（MAB）フレームワークを提案する。モデルは最適なレグレット $O(\sqrt{n})$ を達成し、3つの戦略（GR、UR、$\epsilon$-first）を導入しており、これらは順序的に最適である。シミュレーションではGRが累積報酬とレグレットの面で均一なランダム探索を上回ることを示している。

ABSTRACT

Workers participating in a crowdsourcing platform can have a wide range of abilities and interests. An important problem in crowdsourcing is the task recommendation problem, in which tasks that best match a particular worker's preferences and reliabilities are recommended to that worker. A task recommendation scheme that assigns tasks more likely to be accepted by a worker who is more likely to complete it reliably results in better performance for the task requester. Without prior information about a worker, his preferences and reliabilities need to be learned over time. In this paper, we propose a multi-armed bandit (MAB) framework to learn a worker's preferences and his reliabilities for different categories of tasks. However, unlike the classical MAB problem, the reward from the worker's completion of a task is unobservable. We therefore include the use of gold tasks (i.e., tasks whose solutions are known \emph{a priori} and which do not produce any rewards) in our task recommendation procedure. Our model could be viewed as a new variant of MAB, in which the random rewards can only be observed at those time steps where gold tasks are used, and the accuracy of estimating the expected reward of recommending a task to a worker depends on the number of gold tasks used. We show that the optimal regret is $O(\sqrt{n})$, where $n$ is the number of tasks recommended to the worker. We develop three task recommendation strategies to determine the number of gold tasks for different task categories, and show that they are order optimal. Simulations verify the efficiency of our approaches.

研究の動機と目的

• タスクの完了品質と受容率を向上させるために、作業者の好みと信頼性に合ったタスク推薦を行うクラウドソーシングプラットフォームの課題に対処すること。
• タスクの品質に関する即時のフィードバックが得られないため、報酬が観測不能な状況下で、タスク推薦問題をマルチアームバンディット（MAB）設定としてモデル化すること。
• 報酬のないゴールドタスク（正解が分かっているタスク）を用いて、作業者の好みと信頼性を時間経過とともに推定する学習メカニズムを開発すること。
• 探索（ゴールドタスクの使用）と活用（非ゴールドタスクの割り当て）のバランスを効率的に行うタスク推薦戦略を設計・評価すること。
• 提案された戦略が最適なレグレットのオーダー $O(\sqrt{n})$ を達成し、累積報酬とレグレットの面でベースライン手法を上回ることを示すこと。

提案手法

• アームがタスクカテゴリに対応するマルチアームバンディット問題としてタスク推薦を定式化し、報酬は観測不能である。
• 正解が分かっているが報酬のないゴールドタスクを導入し、作業者の好みと信頼性を推定するフィードバックメカニズムとして機能させる。
• ゴールドタスクの結果に基づくタスクカテゴリの実効平均推定値を用いて期待報酬を推定し、推定の精度は使用されたゴールドタスクの数に依存する。
• 3つの戦略（均一ランダム（UR）、報酬を考慮したグリーディ（GR）、$\epsilon$-ファースト）を提案し、それぞれが探索と活用のトレードオフに基づいて各カテゴリごとのゴールドタスク数を決定する。
• 理論的バウンディングを用いてレグレットを分析し、最適なレグレットのオーダーが $O(\sqrt{n})$ であることを示し、ここで $n$ は推薦されたタスク数である。
• パラメータ（$K$、$\alpha$、$\min_{k\neq*}\Delta_k$）を変化させたシミュレーション実験を実施し、さまざまな設定と戦略バージョンにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 報酬が観測不能な状況下でも、マルチアームバンディットフレームワークがクラウドソーシングにおいて作業者の好みと信頼性を効果的に学習できるか。
• RQ2 ゴールドタスクを戦略的に使用することで、報酬収集に影響を与えることなく、作業者のパフォーマンスを推定し、タスク推薦を支援できるか。
• RQ3 この観測不能な報酬設定におけるタスク推薦の最適なレグレットのオーダーは何か。また、実用的な戦略によって達成可能か。
• RQ4 均一ランダム、グリーディ、$\epsilon$-ファーストといった異なる探索戦略は、さまざまな条件下で累積報酬とレグレットの面でどのように比較されるか。
• RQ5 好みと信頼性の両方を同時に学習することは、片方だけを学習する場合よりも優れたパフォーマンスをもたらすか。

主な発見

• 提案されたタスク推薦フレームワークの最適なレグレットのオーダーは $O(\sqrt{n})$ であり、ここで $n$ は推薦されたタスク数である。これは理論的パフォーマンスバウンディングを確立するものである。
• 報酬を考慮したグリーディ（GR）戦略は、推定の分散を低減し、より知的なゴールドタスクの割り当てにより、累積報酬を向上させるため、均一ランダム（UR）戦略を一貫して上回る。
• 探索パラメータ $\alpha$ に中程度の値を設定すると、GRおよびUR戦略の両方で最適なパフォーマンスが得られる。$\alpha$ が高すぎたり低すぎたりすると、レグレットが増加する。
• もし $\min_{k\neq*}\Delta_k$ が小さい（すなわち、最良のタスクカテゴリが他のものと識別しにくい）場合には、GRの平均レグレットが上昇し、識別が難しいことが示唆される。
• 好みや信頼性のどちらか一方だけを学習する場合、両方を同時に学習する場合に比べて累積報酬が著しく低くなる。この性能差は時間経過とともに広がる。