[论文解读] A Collaborative Mechanism for Crowdsourcing Prediction Problems

Jacob Abernethy, Rafael Frongillo|arXiv (Cornell University)|Nov 11, 2011

Sports Analytics and Performance参考文献 11被引用 34

一句话总结

本文提出了一种众包学习机制（Crowdsourced Learning Mechanism, CLM），这是一种协作式预测市场框架，通过参与者对更新进行投注来激励其改进共享假设。通过将支付与测试集上的性能提升对齐，该机制确保了真实、渐进式的改进，同时支持持续、透明的协作——为传统‘赢家通吃’式预测竞赛提供了一种更高效且激励相容的替代方案。

ABSTRACT

Machine Learning competitions such as the Netflix Prize have proven reasonably successful as a method of "crowdsourcing" prediction tasks. But these competitions have a number of weaknesses, particularly in the incentive structure they create for the participants. We propose a new approach, called a Crowdsourced Learning Mechanism, in which participants collaboratively "learn" a hypothesis for a given prediction task. The approach draws heavily from the concept of a prediction market, where traders bet on the likelihood of a future event. In our framework, the mechanism continues to publish the current hypothesis, and participants can modify this hypothesis by wagering on an update. The critical incentive property is that a participant will profit an amount that scales according to how much her update improves performance on a released test set.

研究动机与目标

• 解决传统预测竞赛的局限性，例如‘赢家通吃’的激励机制和反协作的结构设计。
• 设计一种机制，激励参与者持续、真实地贡献于共享假设，而非孤立地、私密地改进算法。
• 利用预测市场和评分规则的原则，实现协作式假设优化。
• 确保参与者所获利润与其更新在保留测试集上实际提升的幅度成正比。
• 提供一种可计算、可扩展且激励相容的框架，通过去中心化的集体智能解决机器学习预测问题。

提出的方法

• 该机制维护一个当前假设向量 w，并允许参与者对 w 的更新 w′ 进行投注。
• 每位参与者的收益由支付函数决定：Payout(w, w′; X) = Cost(w, w′) + L(w; X) - L(w′; X)，其中 L 是在测试集 X 上的损失。
• 成本函数定义为 Cost(w, w′) = 2α‖w − w′‖₂，以确保资金托管属性（escrow property）和损失函数的利普希茨连续性。
• 该框架使用广义评分规则（Generalized Scoring Rule, GSR），其可分解为单个预测，从而支持对测试数据子集的在线支付。
• 参与者通过求解凸优化问题来在预算约束下最大化期望收益，确保可计算性（TT 属性）。
• 该机制通过在冻结的测试标签子集上定期执行小规模支付，支持在线运行，实现实时反馈，同时保持激励一致性。

实验结果

研究问题

• RQ1 能否将预测市场框架适配为一种众包机器学习假设学习的方式，使其激励与性能提升保持一致？
• RQ2 如何设计一种协作机制，以防止传统预测竞赛中常见的反协作行为？
• RQ3 在何种条件下，可确保参与者真实报告并改进当前假设，而非操纵系统？
• RQ4 能否在保持强激励属性的同时，使机制具有计算可处理性？
• RQ5 如何在不损害激励相容性或性能评估的前提下，将在线反馈整合到机制中？

主要发现

• 所提出的众包学习机制（CLM）具有 L-激励特性，即参与者所获利润与其假设更新在测试集上带来的实际性能提升成正比。
• 该机制满足资金托管属性（ES），确保任何参与者损失不会超过其初始投注金额，且成本函数在假设空间上设计为利普希茨连续。
• 该框架具有可计算性（TT 属性），因为预算约束下的收益最大化问题由于损失函数和 ℓ₂-范数成本的凸性，可简化为凸优化问题。
• 该机制通过在测试数据子集上实现小规模支付，支持在线运行，实现实时反馈，同时借助可分解评分规则保持激励一致性。
• 该机制使企业能够将预测任务外包给去中心化的众包群体，仅使用少量标注样本验证在更大未标注数据集上的预测，从而有效构建机器学习专长的市场。
• 通过要求公开披露假设更新，该机制促进了协作，避免了传统竞赛中非胜出者努力被浪费的问题。