[论文解读] A Theoretical Analysis of NDCG Type Ranking Measures

Yining Wang, Liwei Wang+4 more|arXiv (Cornell University)|Apr 24, 2013

Information Retrieval and Search Behavior参考文献 29被引用 254

一句话总结

本文对NDCG型排序度量进行了理论分析，表明标准NDCG在对数折扣下对所有排序函数均收敛于1，但仍保持一致的可区分性——从而能够可靠地区分优质与劣质排序。研究识别出 $ r^{-1} $ 为折扣函数的关键衰减速率，证明仅当衰减速率慢于 $ r^{-1} $ 时，才能保持可区分性，并在真实网络搜索数据上验证了这些发现。

ABSTRACT

A central problem in ranking is to design a ranking measure for evaluation of ranking functions. In this paper we study, from a theoretical perspective, the widely used Normalized Discounted Cumulative Gain (NDCG)-type ranking measures. Although there are extensive empirical studies of NDCG, little is known about its theoretical properties. We first show that, whatever the ranking function is, the standard NDCG which adopts a logarithmic discount, converges to 1 as the number of items to rank goes to infinity. On the first sight, this result is very surprising. It seems to imply that NDCG cannot differentiate good and bad ranking functions, contradicting to the empirical success of NDCG in many applications. In order to have a deeper understanding of ranking measures in general, we propose a notion referred to as consistent distinguishability. This notion captures the intuition that a ranking measure should have such a property: For every pair of substantially different ranking functions, the ranking measure can decide which one is better in a consistent manner on almost all datasets. We show that NDCG with logarithmic discount has consistent distinguishability although it converges to the same limit for all ranking functions. We next characterize the set of all feasible discount functions for NDCG according to the concept of consistent distinguishability. Specifically we show that whether NDCG has consistent distinguishability depends on how fast the discount decays, and 1/r is a critical point. We then turn to the cut-off version of NDCG, i.e., NDCG@k. We analyze the distinguishability of NDCG@k for various choices of k and the discount functions. Experimental results on real Web search datasets agree well with the theory.

研究动机与目标

• 研究NDCG型排序度量的理论特性，特别是其在不同排序函数之间保持一致可区分性能力。
• 解决一个看似矛盾的现象：标准NDCG对所有排序函数均收敛于1，但在实践中仍有效。
• 基于一致可区分性的标准，刻画NDCG可行的折扣函数集合。
• 分析截断版本NDCG@k在不同折扣函数和k值下的行为及其可区分性。
• 利用包含点击日志和相关性标注的真实网络搜索数据集，验证理论发现。

提出的方法

• 提出“一致可区分性”概念——一种正式标准，确保排序度量能在几乎所有数据集上可靠地偏好更优的排序函数。
• 分析当待排序项目数（n）趋于无穷时NDCG的渐近行为，重点关注不同折扣函数下NDCG的收敛极限。
• 推导出NDCG保持可区分性的理论条件，识别出 $ r^{-1} $ 为关键衰减速率：衰减速率更慢则保持可区分性，更快则破坏可区分性。
• 通过固定k为n的比例（如k = n/5）研究NDCG@k，表明此类版本可收敛至不同极限，从而保持可区分性。
• 在包含40个查询、每个查询5000篇文档的真实网络搜索数据集上，对对数折扣、$ r^{-1/2} $、$ 2^{-r} $ 以及NDCG@k进行实证评估。
• 使用训练好的RankSVM和ListNet模型构建排序函数，并以随机基线作为对比，测试不同折扣函数和k值下的可区分性。

实验结果

研究问题

• RQ1 为何标准NDCG在对数折扣下对所有排序函数均收敛于1，却在实践中仍能有效区分优质与劣质排序？
• RQ2 何种折扣函数条件可确保NDCG在不同排序函数间保持一致可区分性？
• RQ3 是否存在一个关键衰减速率，使得当折扣函数衰减速率超过该值时，NDCG将失去区分排序函数的能力？
• RQ4 截断版本NDCG@k在渐近情况下的行为如何？当k随n成比例增长时，其是否仍保持可区分性？
• RQ5 关于NDCG行为的理论预测在具有非独立同分布和非随机文档序列的真实网络搜索数据上在多大程度上成立？

主要发现

• 标准NDCG在对数折扣 $ \frac{1}{\log(1+r)} $ 下，当 n → ∞ 时对所有排序函数均收敛于1，但仍保持一致可区分性。
• 折扣函数 $ r^{-1} $ 是临界阈值：若折扣衰减速率慢于 $ r^{-1} $，则NDCG具有可区分性；若衰减速率快于 $ r^{-1} $，则不具可区分性。
• 使用衰减速率慢于 $ r^{-1} $ 的折扣函数（如 $ r^{-1/2} $）时，NDCG对不同排序函数收敛至不同极限，从而实现强可区分性。
• 使用快速衰减的折扣函数（如 $ 2^{-r} $）时，NDCG无法收敛，且可区分性差，甚至为随机排序函数分配高分。
• 当k = n/5且采用对数折扣时，NDCG@k对不同排序函数收敛至不同极限，与标准NDCG不同，因此保持了可区分性。
• 在包含点击日志和相关性标注的真实网络搜索数据上的实验结果与理论预测高度一致，证实可区分性取决于折扣衰减速率和k的选择。