[論文レビュー] Statistical Decision Making for Optimal Budget Allocation in Crowd Labeling

Xi Chen, Qihang Lin+1 more|arXiv (Cornell University)|Mar 12, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 43被引用数 42

ひとこと要約

本稿では、クラウドラベリングにおける最適な予算配分を実現するための楽観的知識勾配（Opt-KG）方策を提案する。問題をベイジアン・マルコフ決定過程（MDP）として定式化することで、学習と意思決定のバランスを図る。本手法は、ガンマ分布への統合を用いた1次元積分により、ラベルの正確性における限界的向上を効率的に計算し、同じ予算制約下で既存の方策よりも高いラベル品質を達成する。

ABSTRACT

In crowd labeling, a large amount of unlabeled data instances are outsourced to a crowd of workers. Workers will be paid for each label they provide, but the labeling requester usually has only a limited amount of the budget. Since data instances have different levels of labeling difficulty and workers have different reliability, it is desirable to have an optimal policy to allocate the budget among all instance-worker pairs such that the overall labeling accuracy is maximized. We consider categorical labeling tasks and formulate the budget allocation problem as a Bayesian Markov decision process (MDP), which simultaneously conducts learning and decision making. Using the dynamic programming (DP) recurrence, one can obtain the optimal allocation policy. However, DP quickly becomes computationally intractable when the size of the problem increases. To solve this challenge, we propose a computationally efficient approximate policy, called optimistic knowledge gradient policy. Our MDP is a quite general framework, which applies to both pull crowdsourcing marketplaces with homogeneous workers and push marketplaces with heterogeneous workers. It can also incorporate the contextual information of instances when they are available. The experiments on both simulated and real data show that the proposed policy achieves a higher labeling accuracy than other existing policies at the same budget level.

研究の動機と目的

• 限られた予算の中でラベル正確性を最大化するという課題に対処すること。
• 動的予算配分意思決定をとる中で、作業者の信頼性とタスクの曖昧さを同時に学習すること。
• Gittins指数や標準的知識勾配といった既存の近似手法を上回る、計算的に効率的な方策を開発すること。
• 大規模なクラウドラベリング問題に対して理論的裏付けがあり、スケーラブルなソリューションを提供すること。

提案手法

• 後方確率分布を状態変数とする有限ホライズンのベイジアンMDPとして、予算配分問題を定式化する。
• 作業者の信頼性とタスクの曖昧さをディリクレ事前分布でモデル化し、各ラベルの取得に伴い後方分布を更新する。
• 知識勾配の原則に基づき、分類正確性の期待改善に基づく段階的報酬関数を定義する。
• 多次元ディリクレ確率をガンマ分布に従う順序統計量に変換することで、1次元数値積分を用いて知識勾配を計算する。
• 期待正確性における限界的向上が最大となる次回のインスタンス・作業者ペアを選択する楽観的変種（Opt-KG）を提案する。
• 高不確実性状況下での最悪事態に対する耐性を高めるために、条件付きリスク価値（CVaR）拡張を導入する。

実験結果

リサーチクエスチョン

• RQ1 限られた予算を、作業者とデータインスタンスの間でどのように最適に配分すれば、クラウドラベリングにおけるラベル正確性を最大化できるか？
• RQ2 予算制約下で、作業者の信頼性とタスクの曖昧さを学習するための探索と、ラベルの割り当てのための活用のバランスを取る最良の方法は何か？
• RQ3 Gittins指数や標準的知識勾配といった既存の近似手法を上回る、計算的に効率的な方策を設計できるか？
• RQ4 後方分布を更新する際の正確性における期待限界的向上を、どのように効率的に計算できるか？
• RQ5 提案された方策は、収束性および最適性の観点で、どのような理論的保証を提供するか？

主な発見

• 提案されたOpt-KG方策は、合成データおよび実世界のデータセットの両方で、同じ予算水準下で既存の方策を上回る高いラベル正確性を達成した。
• ガンマ分布の性質を用いて、高次元ディリクレ確率積分を1次元数値積分に再定式化することで、計算コストを低減した。
• 1次元積分の使用により、知識勾配の高速かつ正確な計算が可能となり、大規模な問題へのスケーラビリティが実現された。
• 実験の結果、Opt-KGは最終的なラベル正確性において、標準的知識勾配やGittins指数に基づく方策を著しく上回った。
• 方策は強く実験的性能を示し、ベイジアンMDPフレームワーク下で漸近的な理論的保証を提供した。
• 条件付きリスク価値（CVaR）拡張により、不確実性が高く、または外れ値的な作業者行動が見られる状況でも耐性が向上した。