[论文解读] An Introduction to Artificial Prediction Markets for Classification

Adrian Barbu, Nathan Lay|arXiv (Cornell University)|Feb 7, 2011

Sports Analytics and Performance参考文献 34被引用 15

一句话总结

本文提出人工预测市场作为一种新颖的在线学习框架，用于监督分类任务，其中通过市场清算机制融合分类器预测，以估计类别条件概率。该方法推广了线性聚合、逻辑回归和核方法，并在合成数据集和真实世界数据集上实现了最先进性能，包括在淋巴结检测任务中较AdaBoost提升1.6%的检测率。

ABSTRACT

Prediction markets are used in real life to predict outcomes of interest such as presidential elections. This paper presents a mathematical theory of artificial prediction markets for supervised learning of conditional probability estimators. The artificial prediction market is a novel method for fusing the prediction information of features or trained classifiers, where the fusion result is the contract price on the possible outcomes. The market can be trained online by updating the participants' budgets using training examples. Inspired by the real prediction markets, the equations that govern the market are derived from simple and reasonable assumptions. Efficient numerical algorithms are presented for solving these equations. The obtained artificial prediction market is shown to be a maximum likelihood estimator. It generalizes linear aggregation, existent in boosting and random forest, as well as logistic regression and some kernel methods. Furthermore, the market mechanism allows the aggregation of specialized classifiers that participate only on specific instances. Experimental comparisons show that the artificial prediction markets often outperform random forest and implicit online learning on synthetic data and real UCI datasets. Moreover, an extensive evaluation for pelvic and abdominal lymph node detection in CT data shows that the prediction market improves adaboost's detection rate from 79.6% to 81.2% at 3 false positives/volume.

研究动机与目标

• 开发一种基于数学原理的框架，利用人工预测市场融合分类器预测。
• 通过基于市场的聚合方法，在监督学习中实现实时、高效的概率估计。
• 在统一的概率市场机制下，推广现有的集成方法，如提升法和随机森林。
• 引入仅在特征空间相关区域参与的专用分类器，实现自适应、上下文感知的融合。
• 通过合成数据集和真实世界数据集的实证验证，证明该方法在预测准确性和概率估计方面的优越性。

提出的方法

• 市场使用单纯形表示合约价格，其中每个价格对应于给定输入特征下类别的估计概率。
• 每位市场参与者由预算和投注函数定义，该函数根据输入特征和当前价格确定其在各类上的投资金额。
• 通过凸优化问题实现市场清算，确保与市场效率和理性行为一致，该方法基于公理化假设推导得出。
• 通过加权更新规则执行在线更新，根据训练样本调整参与者预算，实现增量学习。
• 引入专用分类器，仅在其专业领域相关的特征区域参与，实现每实例的动态子集聚合。
• 该框架自然扩展至多分类问题，并支持多种分类器的融合，包括一对多、多对多和决策树。

实验结果

研究问题

• RQ1 能否形式化推导出一种基于市场的机制，将分类器预测融合为可靠的类别条件概率估计？
• RQ2 人工预测市场在预测准确性方面与随机森林和提升法等成熟集成方法相比表现如何？
• RQ3 仅在特定特征子区域激活的专用分类器是否能提升性能和概率估计？
• RQ4 基于市场的融合机制是否能推广已知方法，如逻辑回归和核方法？
• RQ5 该框架能否以极低的计算成本实现高效在线更新？

主要发现

• 在盆腔和腹部淋巴结检测任务中，人工预测市场在每体积3个假阳性条件下达到81.2%的检测率，较AdaBoost的79.6%提升1.6%。
• 在多个UCI数据集上，该市场显著优于隐式在线学习，且无任何情况下表现更差。
• 在贝叶斯误差范围为0至0.5的合成数据集中，该市场在预测准确性和概率估计方面均持续优于随机森林。
• 该市场将线性聚合（如提升法和随机森林）、逻辑回归以及某些核方法作为特例进行推广。
• 该框架支持在线学习，每次更新计算成本极低，可实现实时适应。
• 即使仅部分分类器在每实例中参与，该方法仍能提供有意义的概率估计，从而实现在流形上的有效学习。