[论文解读] Hitting the High Notes: Subset Selection for Maximizing Expected Order Statistics

Aranyak Mehta, Uri Nadav+2 more|arXiv (Cornell University)|Dec 14, 2020

Auction Theory and Applications被引用 8

一句话总结

本文研究在仅能选择 k 个变量的情况下，从 n 个独立的随机变量中通过子集选择来最大化期望的最大值或第二大的值。该文为最大化期望最大值提出了一个 PTAS，证明了在 Planted Clique 假设下，第二大的值存在强不可近似性，并表明对于 MHR 分布的变量，一种基于分数的简单规则（使用 1/√k 分位数）可同时对两个目标实现常数因子近似。

ABSTRACT

We consider the fundamental problem of selecting $k$ out of $n$ random variables in a way that the expected highest or second-highest value is maximized. This question captures several applications where we have uncertainty about the quality of candidates (e.g. auction bids, search results) and have the capacity to explore only a small subset due to an exogenous constraint. For example, consider a second price auction where system constraints (e.g., costly retrieval or model computation) allow the participation of only $k$ out of $n$ bidders, and the goal is to optimize the expected efficiency (highest bid) or expected revenue (second highest bid). We study the case where we are given an explicit description of each random variable. We give a PTAS for the problem of maximizing the expected highest value. For the second-highest value, we prove a hardness result: assuming the Planted Clique Hypothesis, there is no constant factor approximation algorithm that runs in polynomial time. Surprisingly, under the assumption that each random variable has monotone hazard rate (MHR), a simple score-based algorithm, namely picking the $k$ random variables with the largest $1/\sqrt{k}$ top quantile value, is a constant approximation to the expected highest and second highest value, \emph{simultaneously}.

研究动机与目标

• 解决在外部容量约束下，从 n 个随机变量中选择 k 个以最大化期望最大值或第二大值这一基本问题。
• 在标准计算假设下，分析最大化期望顺序统计量（特别是第二大的值）的算法复杂度。
• 设计并评估基于分数的选择规则，以在单调风险率（MHR）假设下，对期望最大值和第二大的值同时实现常数因子近似保证。
• 在合成数据和真实世界数据（包括 Twitter 点赞数）上，评估各种选择方法（贪心法、基于分数的方法以及回归/分位数模型）的性能。

提出的方法

• 为通过 (值, 概率) 对显式描述的随机变量，提出了一个用于最大化期望最大值的 PTAS（多项式时间近似方案）。
• 采用动态规划方法，结合离散化和舍入技术，在近乎线性时间内实现接近最优的性能。
• 提出一种基于分数的算法，选择 1/√k 分位数值最大的 k 个变量，该方法在 MHR 假设下，对期望最大值和第二大的值均实现了常数因子近似。
• 通过在合成数据（样本大小不同的正态分布）和真实世界 Twitter 数据上的实证评估，比较不同方法，通过蒙特卡洛采样测量真实期望最大值和第二大值。
• 使用 Keras 和 TensorFlow 训练回归和分位数模型，基于推文的特征表示预测点赞数，然后利用这些预测结果对 k 个候选对象进行排序和选择。
• 应用 KR 方法，通过基于分位数预测过滤候选对象，并在剩余数据上进行训练，然后在保留的测试块上评估性能。

实验结果

研究问题

• RQ1 我们能否设计一个多项式时间算法，对子集选择中期望最大值的优化实现 (1+ε) 近似保证？
• RQ2 在标准复杂度假设下，能否对期望第二大的值实现常数因子近似？
• RQ3 对于 MHR 分布的变量，一个简单的基于分数的规则——具体而言，基于 1/√k 分位数进行选择——是否能同时对期望最大值和第二大的值实现常数因子近似？
• RQ4 在合成数据和真实世界数据上，基于分数的方法（如回归、分位数预测和 KR 方法）在最大化期望顺序统计量方面，实际表现如何比较？

主要发现

• 存在一个用于最大化期望最大值的 PTAS，其运行时间接近线性，表明显式处理变量间交互关系可提供优于基于分数规则的保证。
• 在 Planted Clique 假设下，不存在多项式时间的常数因子近似算法用于期望第二大的值，表明其具有强不可解性。
• 对于 MHR 分布的随机变量，基于 1/√k 分位数的分数规则可同时对期望最大值和第二大的值实现常数因子近似。
• 实证评估表明，分位数方法和 KR 方法在合成数据和 Twitter 数据上，均优于简单的回归方法和贪心选择法，在选择具有高期望最大值和第二大的值的子集方面表现更优。
• 在 Twitter 数据上，分位数方法选择了更高比例的小样本候选对象（样本较少），同时保持了较高的期望性能，表明其对数据质量变化具有鲁棒性。
• KR 方法通过基于分位数预测进行过滤，实现了优异性能，并选择了高方差和低方差候选对象的均衡组合，相较于基线方法，进一步提升了期望最大值和第二大的值。