[论文解读] Learning to Rank With Bregman Divergences and Monotone Retargeting

Sreangsu Acharyya, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Oct 16, 2012

Domain Adaptation and Few-Shot Learning参考文献 20被引用 13

一句话总结

本文提出了一种新颖的排序学习方法，通过交替投影联合优化变换与模型参数，最小化训练评分的单调变换与参数化预测函数之间的Bregman散度。该方法在温和条件下保证了与NDCG的统计一致性，实现全局收敛，并在基准数据集上优于当前最先进的NDCG一致方法。

ABSTRACT

This paper introduces a novel approach for learning to rank (LETOR) based on the notion of monotone retargeting. It involves minimizing a divergence between all monotonic increasing transformations of the training scores and a parameterized prediction function. The minimization is both over the transformations as well as over the parameters. It is applied to Bregman divergences, a large class of "distance like" functions that were recently shown to be the unique class that is statistically consistent with the normalized discounted gain (NDCG) criterion [19]. The algorithm uses alternating projection style updates, in which one set of simultaneous projections can be computed independent of the Bregman divergence and the other reduces to parameter estimation of a generalized linear model. This results in easily implemented, efficiently parallelizable algorithm for the LETOR task that enjoys global optimum guarantees under mild conditions. We present empirical results on benchmark datasets showing that this approach can outperform the state of the art NDCG consistent techniques.

研究动机与目标

• 开发一种与NDCG评估指标在统计上一致的排序学习框架。
• 通过引入可处理的代理目标，解决在非可微、非凸的NDCG准则下优化排序模型的挑战。
• 将单调性约束与Bregman散度统一，以提升排序性能。
• 设计一种高效、可并行化的算法，具备全局收敛保证。
• 通过与当前最先进的NDCG一致排序学习技术对比，实证验证该方法的有效性。

提出的方法

• 该方法最小化所有训练相关性评分的单调递增变换与参数化预测函数之间的Bregman散度。
• 通过交替优化实现：一步将投影到单调变换空间，独立于Bregman散度类型。
• 另一步简化为广义线性模型中的参数估计，从而实现高效计算。
• 该算法采用交替投影方案，将变换学习与模型参数学习解耦。
• 该方法适用于所有Bregman散度，且已被证明是与NDCG一致的唯一类。
• 在数据和模型的温和正则性条件下，该方法保证全局收敛。

实验结果

研究问题

• RQ1 基于Bregman散度的排序学习方法能否实现与NDCG度量的统计一致性？
• RQ2 如何有效将单调性约束整合进可微分的排序优化框架中？
• RQ3 所提出的交替投影算法是否具有全局收敛性并能高效扩展？
• RQ4 该方法能否在标准基准数据集上超越现有NDCG一致的排序学习技术？
• RQ5 不同Bregman散度对排序性能和收敛速度有何影响？

主要发现

• 在数据和模型的温和条件下，所提方法可实现全局收敛至全局最优解。
• 由于单调变换更新与参数估计的解耦，该算法可高效并行化。
• 在基准数据集上的实证结果表明，该方法优于当前最先进的NDCG一致排序学习技术。
• Bregman散度的使用确保了与NDCG准则的统计一致性，理论已证明。
• 交替投影方案允许独立计算单调变换，简化了实现。
• 该方法在各种Bregman散度类型下表现出稳健性能，无需手动调参散度参数。