[论文解读] Stochastic Top-k ListNet

Tianyi Luo, Dong Wang+2 more|arXiv (Cornell University)|Nov 1, 2015

Domain Adaptation and Few-Shot Learning参考文献 8被引用 6

一句话总结

该论文提出了一种随机 Top-k ListNet 方法，通过采样有限的排列类别子集而非计算所有排列的梯度，从而加速训练并提升排序性能。通过利用均匀、固定或自适应采样分布（尤其是基于模型预测的自适应方法）的局部排序信息，该方法实现了高效的 Top-k 学习，在 MQ2008 数据集上表现优于传统 ListNet。

ABSTRACT

ListNet is a well-known listwise learning to rank model and has gained much attention in recent years. A particular problem of ListNet, however, is the high computation complexity in model training, mainly due to the large number of object permutations involved in computing the gradients. This paper proposes a stochastic ListNet approach which computes the gradient within a bounded permutation subset. It significantly reduces the computation complexity of model training and allows extension to Top-k models, which is impossible with the conventional implementation based on full-set permutations. Meanwhile, the new approach utilizes partial ranking information of human labels, which helps improve model quality. Our experiments demonstrated that the stochastic ListNet method indeed leads to better ranking performance and speeds up the model training remarkably.

研究动机与目标

• 为降低因对象排列数量呈阶乘增长而导致的全 ListNet 模型训练高计算复杂度。
• 实现超越 Top-1 的实用 Top-k 学习，以克服 Top-1 在捕捉完整排序结构方面的局限性。
• 通过利用人工标注分数提供的部分排序信息来提升模型质量。
• 开发一种可扩展、可泛化的列表式学习排序框架，避免对全部排列进行枚举。
• 基于 RankLib 提供开源实现，以促进更广泛的应用与扩展。

提出的方法

• 提出一种随机 ListNet 方法，采样有限的排列类别子集，而非处理全部 n! 个排列。
• 引入三种采样策略：均匀采样（随机选择）、固定采样（基于人工标注分数）和自适应采样（基于神经网络输出分数）。
• 使用人类标注与模型预测的排列类别概率分布之间的交叉熵损失。
• 将采样框架应用于 Top-k ListNet，其中排列按前 k 个排名项分组，将搜索空间从 n! 降低至 n!/(n−k)!。
• 采用随机梯度下降（SGD）进行优化，训练批次由采样的对象列表构成，而非完整的排列。
• 在采样中引入重加权机制，以平衡罕见但信息量大的排序模式，尤其在数据不平衡的情况下。

实验结果

研究问题

• RQ1 采样少量排列类别是否能显著降低训练复杂度，同时保持或提升模型性能？
• RQ2 结合人工标注分数提供的部分排序信息，是否能比全排列训练获得更好的泛化能力？
• RQ3 采样分布的选择（均匀、固定、自适应）如何影响模型性能与训练效率？
• RQ4 能否有效训练 Top-k ListNet 模型（k > 1），且其性能是否优于 Top-1 模型？
• RQ5 该随机方法是否可泛化至 ListNet 以外的其他列表式学习排序模型？

主要发现

• 该随机 ListNet 方法通过限制每次迭代处理的排列数量，显著缩短了训练时间，实现了可扩展的 Top-k 学习。
• 自适应分布采样方法在 P@1 上表现最佳，表明模型预测分数能有效引导信息量丰富的采样。
• Top-2 模型优于更复杂的 Top-k 模型（如 Top-3、Top-4），表明在 MQ2008 数据集上，k 值增加带来的收益递减。
• 该方法在传统 ListNet 的基础上提升了排序性能，尤其在标签严苛（如 AM2008 仅含 {0,1,2} 标签）的数据集上表现更优。
• 固定采样与自适应采样优于均匀采样，尤其在相关性标签稀疏或不平衡的情况下。
• 结果表明，基于部分排序进行学习已足够，且在全排列枚举不可行时通常比全排列学习更有效。