[论文解读] Direct Optimization of Ranking Measures

Quoc V. Le, Alexander J. Smola|arXiv (Cornell University)|Apr 25, 2007

Data Management and Algorithms参考文献 38被引用 94

一句话总结

该论文提出了一种名为直接排序度量优化（DORM）的新方法，通过希尔伯特空间中的结构化估计，直接优化如NDCG和MRR等复杂、非凸的排序性能度量。通过在训练期间将排序问题建模为可通过匈牙利算法求解的线性分配问题，并在测试时仅使用简单的排序操作，DORM在收敛速度和性能方面均优于成对方法，尤其在标注数据有限的情况下表现更优。

ABSTRACT

Web page ranking and collaborative filtering require the optimization of sophisticated performance measures. Current Support Vector approaches are unable to optimize them directly and focus on pairwise comparisons instead. We present a new approach which allows direct optimization of the relevant loss functions. This is achieved via structured estimation in Hilbert spaces. It is most related to Max-Margin-Markov networks optimization of multivariate performance measures. Key to our approach is that during training the ranking problem can be viewed as a linear assignment problem, which can be solved by the Hungarian Marriage algorithm. At test time, a sort operation is sufficient, as our algorithm assigns a relevance score to every (document, query) pair. Experiments show that the our algorithm is fast and that it works very well.

研究动机与目标

• 为解决现有排序方法依赖代理损失函数而非直接最小化真实世界性能度量（如NDCG和MRR）的局限性。
• 开发一种通用框架，使多变量、非凸排序标准的直接优化成为可能，且与核方法和大间隔学习兼容。
• 通过将排序问题重新表述为可通过匈牙利算法求解的线性分配问题，实现高效训练与推理。
• 通过在网页搜索与协同过滤基准上与最先进方法对比，证明直接优化可提升性能，尤其在标注数据稀缺时表现更优。
• 通过将性能度量嵌入希尔伯特空间的内积形式并使用凸松弛，将结构化估计的适用范围扩展至复杂排序任务。

提出的方法

• 该方法在希尔伯特空间中使用结构化估计，将排序函数建模为评分函数 $ g(d, q) $，其中 $ d $ 为文档，$ q $ 为查询。
• 将NDCG和MRR等性能度量表示为希尔伯特空间中的内积，从而将其整合进学习框架。
• 基于Tsochantaridis等人（2005）的基于间隔的公式，构建非凸排序损失的凸松弛，实现高效优化。
• 在训练期间，将排序问题建模为线性分配问题，通过匈牙利婚姻算法求解最优文档排序。
• 在测试时，为所有（文档，查询）对分配相关性分数，并通过简单的排序操作生成最终排序结果。
• 该方法具有通用性和可扩展性：支持位置相关评分、多样性感知度量，并可通过在特征表示中引入用户特定数据，扩展至个性化排序。

实验结果

研究问题

• RQ1 我们能否在不依赖成对近似或代理损失的情况下，直接优化如NDCG和MRR等复杂、非凸的排序性能度量？
• RQ2 如何将多变量排序标准重新表述为适合希尔伯特空间中基于核的学习的凸优化问题？
• RQ3 与现有成对排序方法相比，直接优化在网页搜索与协同过滤任务中的计算效率与泛化性能如何？
• RQ4 所提出的方法能否扩展以处理个性化排序与多样化检索输出？
• RQ5 在训练数据有限的情况下，尤其是低样本设置下，直接优化是否能带来更好的性能表现？

主要发现

• DORM在网页搜索与协同过滤任务中均达到最先进性能，尤其在标注样本数量较少时表现尤为突出。
• 在EachMovie数据集的实验中，DORM在NDCG@10、NDCG@20和NDCG@50指标上显著优于标准高斯过程回归（GPR）、GPOR、CPR、CGPOR和MMMF。
• 未配对t检验证实，DORM在多个评估设置下的性能提升具有统计显著性。
• 由于训练阶段使用匈牙利算法、测试阶段仅需简单排序，该算法计算效率高，支持快速推理。
• 由于损失函数设计灵活，该方法在位置相关与多样性感知等多样化排序目标上泛化能力出色。
• 作者观察到，对JRank最优的模型类未必对DORM最优，提示进一步的核优化可能进一步提升性能。