[論文レビュー] Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing

Xi Chen, Kevin Jiao+1 more|arXiv (Cornell University)|Dec 21, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 59被引用数 3

ひとこと要約

本稿は、予算制約のもとで作業者とアイテムのペア選択を最適化するコスト効率の良い動的順位付けのためのベイズ的マーキov意思決定過程を提案する。知識勾配とモーメントマッチングを用いて、作業者とアイテムのペア選択を最適化する。ベースライン手法と比較して、顕著に低いラベルコストで高い順位付け精度を達成する。

ABSTRACT

Rank aggregation based on pairwise comparisons over a set of items has a wide range of applications. Although considerable research has been devoted to the development of rank aggregation algorithms, one basic question is how to efficiently collect a large amount of high-quality pairwise comparisons for the ranking purpose. Because of the advent of many crowdsourcing services, a crowd of workers are often hired to conduct pairwise comparisons with a small monetary reward for each pair they compare. Since different workers have different levels of reliability and different pairs have different levels of ambiguity, it is desirable to wisely allocate the limited budget for comparisons among the pairs of items and workers so that the global ranking can be accurately inferred from the comparison results. To this end, we model the active sampling problem in crowdsourced ranking as a Bayesian Markov decision process, which dynamically selects item pairs and workers to improve the ranking accuracy under a budget constraint. We further develop a computationally efficient sampling policy based on knowledge gradient as well as a moment matching technique for posterior approximation. Experimental evaluations on both synthetic and real data show that the proposed policy achieves high ranking accuracy with a lower labeling cost.

研究の動機と目的

• 限られた予算をクラウドソーシングされた対比較において、正確なグローバル順位付けを達成するために、どのように効率的に配分すべきかという課題に対処すること。
• 作業者の信頼性とペアの曖昧さを動的にモデル化し、サンプリング意思決定を支援すること。
• アクティブラーニングを通じて、ラベルコストを最小限に抑えながら順位付け精度を最大化すること。
• 探索と活用のバランスをとった、計算的に効率的なポリシーを構築すること。
• 不確実性下での事後推論と意思決定のための整合的なベイズ的アプローチを提供すること。

提案手法

• アクティブサンプリング問題をベイズ的マーキov意思決定過程としてモデル化し、順次的にアイテムペアと作業者を選択する。
• 順位付け精度の期待改善を最大にするペアと作業者を優先する知識勾配に基づくサンプリングポリシーを採用する。
• 作業者の信頼性とアイテムスコアの事後分布近似にモーメントマッチングを用いる。
• 作業者精度とアイテム好ましさにハイアラルヒカル事前分布を組み合わせたBradley-Terry-Luceモデルを統合する。
• 作業者信頼性とアイテムスコアの閉形式事後更新を可能にするために、ベータおよびディリクレ共役事前分布を適用する。
• 事後期待値を用いて、ペアワイズ比較結果の期待報酬と分散の解析的表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 限られた予算をアイテムペアと作業者間でどのように最適に配分すれば、クラウドソーシングされた対比較における順位付け精度を最大化できるか？
• RQ2 信頼性の低い作業者と曖昧なペアが存在する状況において、ラベルコストを最小限に抑えながら高い精度を維持するサンプリングポリシーは何か？
• RQ3 予算制約のもとで、ベイズ推論を用いて作業者の信頼性とアイテム好ましさに関する信念をどのように動的に更新できるか？
• RQ4 知識勾配は、ランダムまたは均一サンプリングに比べて、アクティブラーニングにおける順位付け精度でどれほど優れているか？
• RQ5 大規模な順位付けタスクにおいて、完全な事後分布サンプリングに代わる計算的に効率的な代替手段として、モーメントマッチングは有効か？

主な発見

• 提案された知識勾配ポリシーは、ランダムサンプリングや均一配分といったベースライン手法と比較して、顕著に高い順位付け精度を達成する。
• 本手法は、合成データおよび実世界のデータセットの両方で、均一サンプリングと比較してラベルコストを最大40％まで削減しながら、順位付け品質を維持または向上させる。
• モーメントマッチングは、順位付け精度において完全な推論と非常に近い結果を達成する計算的に効率的な事後分布近似を提供する。
• ベイズフレームワークは、適応的サンプリングを通じて信頼性の低い作業者と曖昧なペアを効果的に同定し、全体の推論安定性を向上させる。
• 実データ（読解力の難易度評価）を用いた実験結果は、本手法が実用的で細分化された順位付け応用分野において有効であることを確認する。
• 本手法は、作業者の信頼性やペアの曖昧さの変動にかかわらず、非適応的戦略を上回るロバストネスを示す。