[论文解读] Competing Prediction Algorithms

Omer Ben-Porat, Moshe Tennenholtz|arXiv (Cornell University)|Jun 5, 2018

Auction Theory and Applications参考文献 18被引用 3

一句话总结

本文提出了一种博弈论框架，用于在PAC-学习设定下分析竞争预测算法的行为，其中各参与方可战略性地优化预测以最大化用户选择。研究证明，在经验博弈中，纯纳什均衡（PNE）始终存在，并且在使用少量样本的情况下，更好的响应动态（better-response dynamics）以高概率收敛至近似PNE。

ABSTRACT

Prediction is a well-studied machine learning task, and prediction algorithms are core ingredients in online products and services. Despite their centrality in the competition between online companies who offer prediction-based products, the strategic use of prediction algorithms remains unexplored. The goal of this paper is to examine strategic use of prediction algorithms. We introduce a novel game-theoretic setting that is based on the PAC learning framework, where each player (aka a prediction algorithm at competition) seeks to maximize the sum of points for which it produces an accurate prediction and the others do not. We show that algorithms aiming at generalization may wittingly miss-predict some points to perform better than others on expectation. We analyze the empirical game, i.e. the game induced on a given sample, prove that it always possesses a pure Nash equilibrium, and show that every better-response learning process converges. Moreover, our learning-theoretic analysis suggests that players can, with high probability, learn an approximate pure Nash equilibrium for the whole population using a small number of samples.

研究动机与目标

• 研究在在线竞争环境中，预测算法的战略行为，其中公司基于预测准确性争夺用户选择。
• 将预测算法之间的竞争建模为博弈，其中收益取决于用户从多个提供选项中选择最匹配的产品。
• 研究此类博弈中是否存在纯纳什均衡，以及学习动态是否能高效收敛至近似均衡。
• 分析经验均衡向完整总体分布的泛化能力，特别是在假设类容量有界与无界的情况下。

提出的方法

• 基于PAC学习框架，形式化构建一个博弈论模型，其中每个参与者的策略是用户实例上的预测函数。
• 将参与者的收益定义为选择其产品的用户期望数量，其中用户在可接受范围内的所有产品中均匀随机选择。
• 在伪维数有界的条件下，证明了所有策略组合下经验收益对真实收益的统一收敛，确保了经验估计的可靠性。
• 证明了在任意有限样本上诱导的经验博弈始终存在一个纯纳什均衡，即使存在策略性误预测亦然。
• 建立更好的响应动态在样本学习下以高概率在多项式时间内收敛至近似PNE。
• 分析了在无限容量设定下均衡的不可学习性，表明经验PNE可能无法泛化至完整总体。

实验结果

研究问题

• RQ1 在PAC学习框架下，竞争预测算法博弈中是否存在纯纳什均衡？
• RQ2 参与者是否能仅通过从底层分布中抽取少量样本，高效学习到一个近似纯纳什均衡？
• RQ3 更好的响应动态是否在此类策略性预测设定中收敛至近似PNE？
• RQ4 在何种条件下，经验纯纳什均衡可泛化为对完整总体的近似纯纳什均衡？
• RQ5 策略性误测——即故意遗漏预测以超越竞争对手——如何影响均衡结果？

主要发现

• 在任意有限样本上诱导的经验博弈始终存在一个纯纳什均衡，即使参与者存在策略性误预测。
• 更好的响应学习动态在样本抽取的高概率下，以多项式时间收敛至近似纯纳什均衡。
• 由于所有策略组合下收益的统一收敛，参与者仅需少量样本即可学习到完整总体的近似PNE。
• 在伪维数有界的条件下，经验收益在真实收益周围一致集中，从而支持从样本中可靠学习。
• 在无限容量设定下，即使底层分布已知，经验PNE仍可能以高概率无法泛化至完整总体。
• 策略行为可能导致个体策略次优，即使参与者完全了解分布及其他参与者的策略空间。