[论文解读] Generalization error bounds for learning to rank: Does the length of document lists matter?

Ambuj Tewari, Sougata Chaudhuri|arXiv (Cornell University)|Mar 6, 2016

Machine Learning and Algorithms参考文献 17被引用 6

一句话总结

本论文表明，当使用 $∞ll_{\infty}$ 范数定义代理损失的Lipschitz常数时，查询级别学习排序的一般化误差界不会因文档列表长度增加而固有地恶化。作者为ListNet等流行方法推导出更紧致的界，并表明平滑性与 $∞ll_{1}$ 正则化可实现与维度无关且快速的 $O(1/n)$ 收敛速率，从而挑战了长列表必然导致一般化性能下降的假设。

ABSTRACT

We consider the generalization ability of algorithms for learning to rank at a query level, a problem also called subset ranking. Existing generalization error bounds necessarily degrade as the size of the document list associated with a query increases. We show that such a degradation is not intrinsic to the problem. For several loss functions, including the cross-entropy loss used in the well known ListNet method, there is \emph{no} degradation in generalization ability as document lists become longer. We also provide novel generalization error bounds under $\ell_1$ regularization and faster convergence rates if the loss function is smooth.

研究动机与目标

• 研究学习排序的一般化误差界是否必然随文档列表长度增加而恶化。
• 挑战普遍认为更长的列表必然导致更差的一般化性能的假设。
• 通过使用 $∞ll_{\infty}$ 范数而非标准的 $∞ll_{2}$ 范数重新定义Lipschitz常数，推导出更紧致的一般化误差界。
• 将一般化分析扩展至新设置，包括 $∞ll_{1}$ 正则化和光滑损失函数。
• 为广泛使用的代理损失（如ListNet和交叉熵）提供形式化且改进的界。

提出的方法

• 使用 $∞ll_{\infty}$ 范数在得分向量上定义代理损失的Lipschitz常数，从而使其与文档列表长度解耦。
• 利用Rademacher复杂度和覆盖数论证，在各种设置下推导一般化误差界。
• 应用在线遗憾分析和局部Rademacher复杂度，推导非凸和光滑损失函数的界。
• 引入一种新型损失类 $φ_{\phi,2}(r)$，以在权重范数和期望损失受约束时控制复杂度。
• 利用损失函数相对于 $∞ll_{\infty}$ 范数的平滑性，实现更快的收敛速率。
• 在 $∞ll_{1}$ 正则化下推导出几乎与维度无关的界，从而提升高维特征的可扩展性。

实验结果

研究问题

• RQ1 在查询级别学习排序中，文档列表长度是否固有地导致一般化误差界恶化？
• RQ2 通过使用不同范数重新定义Lipschitz常数，能否使一般化误差界与文档列表长度无关？
• RQ3 光滑代理损失是否能在学习排序中实现更快的收敛速率，若是，其速率是多少？
• RQ4 $∞ll_{1}$ 正则化能否带来几乎与特征维度无关的一般化误差界？
• RQ5 当使用 $∞ll_{\infty}$ 范数进行Lipschitz分析时，现有流行方法（如ListNet）是否能从更紧致的一般化误差界中受益？

主要发现

• 当Lipschitz常数以 $∞ll_{\infty}$ 范数定义时，学习排序的一般化误差界不会固有地依赖于文档列表长度。
• 对于ListNet交叉熵损失，一般化误差界与列表长度无关，这与先前认为其会恶化的假设相矛盾。
• 在损失函数相对于 $∞ll_{\infty}$ 范数具有平滑性的前提下，本文实现了最快可达 $O(1/n)$ 的乐观收敛速率。
• 在 $∞ll_{1}$ 正则化下，一般化误差界几乎与维度无关，其尺度为 $\tilde{O}(\sqrt{D_0/n})$，其中 $D_0$ 取决于平滑性和特征范数。
• ListNet及其他常见损失的界显著优于以往结果，尤其在高维或长列表设置下。
• 理论分析证实，当使用适当的基于范数的Lipschitz定义时，学习排序算法的一般化性能不会因文档列表长度而受到根本限制。