[論文レビュー] Optimal Stopping and Worker Selection in Crowdsourcing: an Adaptive Sequential Probability Ratio Test Framework

Xiaoou Li, Yunxiao Chen+3 more|arXiv (Cornell University)|Aug 28, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 44被引用数 4

ひとこと要約

本稿では、コスト制約のもとでベイズリスクを最小化するために、ワーカー選択、停止時刻、意思決定ルールを統合最適化する、Ada-SPRTと呼ばれる適応的逐次尤度比検定フレームワークを提案する。RTEでは最大可能精度の99%、Birdでは96%に近いラベル精度を達成しており、合計ラベルの30–43%のみを用いており、KG や Opt-KG などの最先端手法を上回る性能を発揮している。

ABSTRACT

In this paper, we aim at solving a class of multiple testing problems under the Bayesian sequential decision framework. Our motivating application comes from binary labeling tasks in crowdsourcing, where the requestor needs to simultaneously decide which worker to choose to provide the label and when to stop collecting labels under a certain budget constraint. We start with the binary hypothesis testing problem to determine the true label of a single object, and provide an optimal solution by casting it under the adaptive sequential probability ratio test (Ada-SPRT) framework. We characterize the structure of the optimal solution, i.e., optimal adaptive sequential design, which minimizes the Bayes risk through log-likelihood ratio statistic. We also develop a dynamic programming algorithm that can efficiently approximate the optimal solution. For the multiple testing problem, we further propose to adopt an empirical Bayes approach for estimating class priors and show that our method has an averaged loss that converges to the minimal Bayes risk under the true model. The experiments on both simulated and real data show the robustness of our method and its superiority in labeling accuracy as compared to several other recently proposed approaches.

研究の動機と目的

• 予算制約のあるクラウドソーシングラベリングタスクにおけるワーカー選択と最適停止の二重的課題に対処すること。
• 逐次ベイズフレームワークのもとで、停止時刻、ワーカー選択、意思決定ルールを統合最適化することにより、ベイズリスクを最小化すること。
• 現実のクラウドソーシング環境における未知のクラス事前確率とワーカーの質に適応可能な堅牢な手法を開発すること。
• 異種のワーカーを考慮するため、古典的なSPRTを適応的実験設計を組み込んだ形に拡張すること。
• 既存の手法（KG や Opt-KG を含む）と比較して、ラベル精度とコスト効率の両面で優れた性能を示すこと。

提案手法

• 未知のクラス事前確率 π₁ とワーカーの信頼性を有する二値ラベリング問題を、ベイズ的逐次仮説検定として定式化する。
• 対数尤度比統計量を用いて、停止時刻、ワーカー選択、意思決定ルールを統合最適化する適応的逐次尤度比検定（Ada-SPRT）を適用する。
• 打ち切り制約（予算制限）のもとで最適解を効率的に近似するために動的計画法を用いる。
• データからクラス事前確率とワーカーの質パラメータを推定するために、EMアルゴリズムを用いた経験的ベイズアプローチを採用する。
• ワーカーの正確性に関する事前信念を表現するため、ハイパーパrameter α=4、β=2 を用いた正則化尤度関数を導入する（正確性66.7%を想定）。
• アクティブラベリングを開始する前に、ラベルの初期化に使用するキャリブレーションセット（RTEでは最初の200オブジェクト、Birdでは27オブジェクト）を用いて、事前確率とワーカーの質の推定値を初期化する。

実験結果

リサーチクエスチョン

• RQ1 コスト制約のもとで、クラウドソーシング二値ラベリングにおいて、ワーカー選択と停止時刻を同時に最適化することで、ベイズリスクを最小化することは可能か？
• RQ2 知識勾配（KG）のような短視眼的ワーカー選択方針に比べ、適応的逐次設計がラベル精度とコスト効率の両面で優れているか？
• RQ3 クラス事前確率とワーカーの質が未知である状況において、経験的ベイズアプローチがそれらをどれほど正確に推定できるか？
• RQ4 全ラベルベースラインと比較して、Ada-SPRTはラベル精度とラベル削減の両面でどの程度の性能向上を達成できるか？
• RQ5 ラベルコストやデータ分布が変化する状況において、Ada-SPRTはどの程度のロバストネスを示すか？

主な発見

• RTEデータセットでは、合計8,000ラベルのうち3,438ラベル（43%）を用いて92.1%のラベル精度を達成し、最大可能精度の99%に到達した。
• Birdデータセットでは、合計4,212ラベルのうち1,253ラベル（30%）を用いて85.7%の精度を達成し、最大可能精度の96%に到達した。
• 両データセットにおいて、平均精度がKG（86.1%）やOpt-KG（82.2%）を大きく上回り、ラベル使用量も少ない。
• RTEではラベル1オブジェクトあたり2.4–4.4ラベル、Birdでは2.5–7.6ラベルにまで平均停止時刻が短縮された。これはコストパrameter c に依存する。
• EM推定を用いた経験的ベイズアプローチにより、平均損失が真のモデル下での最小ベイズリスクに収束することが保証された。
• ワーカーの質の仮定やランダムな順序の変化に対してもロバストであり、精度の標準偏差が低く（例：RTEでは0.4%）安定した性能を示した。