[论文解读] Concentration Inequalities for Two-Sample Rank Processes with Application to Bipartite Ranking

Stéphan Clémençon, Myrto Limnios+1 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Statistical Methods and Models参考文献 39被引用 3

一句话总结

本论文为由Vapnik-Chervonenkis（VC）类得分函数索引的两样本秩过程建立了集中不等式，实现了对双分类排序准则经验最大化器泛化误差的非渐近分析。关键贡献在于构建了一个理论框架，将秩统计量的统一控制与排序模型的泛化能力相联系，通过统一的U统计量和线性化方法，应用于AUC、p-范数推送、DCG和局部AUC。

ABSTRACT

The ROC curve is the gold standard for measuring the performance of a test/scoring statistic regarding its capacity to discriminate between two statistical populations in a wide variety of applications, ranging from anomaly detection in signal processing to information retrieval, through medical diagnosis. Most practical performance measures used in scoring/ranking applications such as the AUC, the local AUC, the p-norm push, the DCG and others, can be viewed as summaries of the ROC curve. In this paper, the fact that most of these empirical criteria can be expressed as two-sample linear rank statistics is highlighted and concentration inequalities for collections of such random variables, referred to as two-sample rank processes here, are proved, when indexed by VC classes of scoring functions. Based on these nonasymptotic bounds, the generalization capacity of empirical maximizers of a wide class of ranking performance criteria is next investigated from a theoretical perspective. It is also supported by empirical evidence through convincing numerical experiments.

研究动机与目标

• 为由VC类得分函数索引的两样本线性秩统计量集合（秩过程）建立非渐近集中不等式。
• 分析AUC、p-范数推送、DCG和局部AUC等排序性能准则的经验最大化器的泛化能力。
• 通过将各类双分类排序度量识别为两样本秩统计量，统一处理其理论分析。
• 通过控制秩过程的统一波动，为排序中的经验风险最小化提供理论基础。
• 通过在不同得分生成函数下的位置和尺度模型上的数值实验，支持理论发现。

提出的方法

• 利用函数类的 dyadic 划分上的线性化技术和链式论证，推导两样本秩过程的集中不等式。
• 应用对称化和压缩原理，界定了经验秩统计量与其期望之间的偏差。
• 通过具有递增熵的嵌套类的链式分解，使用 εω 和 ηω 参数化，控制得分函数类的复杂度。
• 采用排序度量的U统计量表示（例如，AUC作为Mann-Whitney-Wilcoxon统计量），以利用正交性和方差分解。
• 引入函数类的分层划分，其中 εω = 2−ωL 且 ηω = 2−ω√ω/8，以平衡近似与偏差控制。
• 通过指数矩不等式和并集界推导整个过程的最终高概率偏差界。

实验结果

研究问题

• RQ1 如何为由VC类得分函数索引的两样本线性秩统计量集合建立统一的集中不等式？
• RQ2 AUC、p-范数推送和DCG等排序准则的经验最大化器的泛化误差行为如何？
• RQ3 能否开发一个统一的理论框架，以分析基于秩统计量的排序算法的一致性和收敛速率？
• RQ4 得分函数类的复杂度与样本大小如何共同影响排序模型的泛化能力？
• RQ5 U统计量结构和正交分解在推导排序性能度量的非渐近界中起到什么作用？

主要发现

• 论文建立了如下高概率界：P{||Un,m(ℓ)||L ≥ t} ≤ K2V+1(A/L)2V e4/L2 exp{−3nmt²/(4 × 83L²)}，其中 nmt² > max(1, 84 log(2)L²V, (log(2)L²V/2)¹⁺δ)，表明样本量增加时呈指数衰减。
• 经验最大化器在VC类得分函数上的泛化误差得到统一控制，收敛速率依赖于VC维数V和函数类的度量熵。
• 在Loc1、Loc3、Scale2和Scale3模型上的数值实验验证了理论发现，表明在不同得分生成函数（如RTB、MW、Pol）和RTB函数中u₀变化时，性能稳定。
• 该界对模型误设具有鲁棒性，表现为在不同ε和u₀下的位置和尺度偏移模型中性能一致。
• 理论框架通过提供秩过程波动的非渐近统一控制，支持排序中经验风险最小化方法的应用。
• 分析表明，得分生成函数的选择（如RTB与多项式）显著影响泛化误差，其中RTB在高难度场景下表现出更强的鲁棒性。