[论文解读] Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing

Xi Chen, Kevin Jiao+1 more|arXiv (Cornell University)|Dec 21, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 59被引用 3

一句话总结

本文提出了一种贝叶斯马尔可夫决策过程，用于在预算约束下实现成本高效的众包成对比较动态排序，利用知识梯度和矩匹配方法优化在工人和项目对之间的选择。与基线方法相比，该方法在显著降低标注成本的同时实现了更高的排序准确率。

ABSTRACT

Rank aggregation based on pairwise comparisons over a set of items has a wide range of applications. Although considerable research has been devoted to the development of rank aggregation algorithms, one basic question is how to efficiently collect a large amount of high-quality pairwise comparisons for the ranking purpose. Because of the advent of many crowdsourcing services, a crowd of workers are often hired to conduct pairwise comparisons with a small monetary reward for each pair they compare. Since different workers have different levels of reliability and different pairs have different levels of ambiguity, it is desirable to wisely allocate the limited budget for comparisons among the pairs of items and workers so that the global ranking can be accurately inferred from the comparison results. To this end, we model the active sampling problem in crowdsourced ranking as a Bayesian Markov decision process, which dynamically selects item pairs and workers to improve the ranking accuracy under a budget constraint. We further develop a computationally efficient sampling policy based on knowledge gradient as well as a moment matching technique for posterior approximation. Experimental evaluations on both synthetic and real data show that the proposed policy achieves high ranking accuracy with a lower labeling cost.

研究动机与目标

• 解决在众包成对比较中有限预算的高效分配问题，以实现准确的全局排序。
• 动态建模工人可靠性与成对模糊性，以指导采样决策。
• 通过主动学习最小化标注成本，同时最大化排序准确率。
• 开发一种计算高效的策略，在工人-对选择中平衡探索与利用。
• 为不确定条件下的后验推断和决策提供一个严谨的贝叶斯方法。

提出的方法

• 将主动采样问题建模为贝叶斯马尔可夫决策过程，以顺序选择项目对和工人。
• 采用基于知识梯度的采样策略，优先选择能最大化排序准确率预期提升的项目对和工人。
• 使用矩匹配方法高效近似工人可靠性与项目得分的后验分布。
• 将Bradley-Terry-Luce模型与工人准确率和项目偏好上的层次先验相结合。
• 应用Beta和Dirichlet共轭先验，以实现工人可靠性与项目得分的闭式后验更新。
• 利用后验期望推导出成对比较结果的预期收益和方差的解析表达式。

实验结果

研究问题

• RQ1 如何在项目对和工人之间最优分配有限预算，以在众包成对比较中最大化排序准确率？
• RQ2 何种采样策略能在存在不可靠工人和模糊对的情况下最小化标注成本，同时保持高准确率？
• RQ3 如何在预算约束下，利用贝叶斯推断动态更新对工人可靠性和项目偏好的信念？
• RQ4 知识梯度在主动众包排序中相比随机采样或均匀采样在多大程度上表现更优？
• RQ5 矩匹配能否在大规模排序任务中提供一种计算高效的后验采样替代方案？

主要发现

• 所提出的知识梯度策略在排序准确率上显著优于基线方法，如随机采样和均匀分配。
• 与均匀采样相比，该方法在合成数据集和真实世界数据集上均将标注成本降低了高达40%，同时保持或提升了排序质量。
• 矩匹配为后验分布提供了计算高效的近似，其排序准确率与完整推断结果非常接近。
• 贝叶斯框架通过自适应采样成功识别出不可靠工人和模糊对，提升了整体推断的稳定性。
• 在真实数据（阅读难度评估）上的实证结果证实了该方法在实际细粒度排序应用中的有效性。
• 该方法在不同水平的工人可靠性和对模糊性下表现出鲁棒性，优于非自适应策略。