[论文解读] Learning the Gain Values and Discount Factors of DCG

Ke Zhou, Hongyuan Zha+2 more|arXiv (Cornell University)|Dec 22, 2012

Tensor decomposition and applications参考文献 1被引用 6

一句话总结

本文提出了一种系统化的方法，从用户偏好数据中学习折扣累积收益（DCG）的最优增益值和折扣因子，将DCG建模为线性效用函数，并通过二次规划求解参数。该方法提升了DCG的一致性，并通过仿真验证了其有效性，表明学习到的参数相较于随意设定的参数能提供更可靠的排序评估结果。

ABSTRACT

Evaluation metrics are an essential part of a ranking system, and in the past many evaluation metrics have been proposed in information retrieval and Web search. Discounted Cumulated Gains (DCG) has emerged as one of the evaluation metrics widely adopted for evaluating the performance of ranking functions used in Web search. However, the two sets of parameters, gain values and discount factors, used in DCG are determined in a rather ad-hoc way. In this paper we first show that DCG is generally not coherent, meaning that comparing the performance of ranking functions using DCG very much depends on the particular gain values and discount factors used. We then propose a novel methodology that can learn the gain values and discount factors from user preferences over rankings. Numerical simulations illustrate the effectiveness of our proposed methods. Please contact the authors for the full version of this work.

研究动机与目标

• 探究DCG中不同的增益值和折扣因子是否会导致对排序函数评估结果不一致。
• 解决当前DCG参数选择缺乏系统性方法的问题，目前这些参数多为随意设定。
• 开发一种学习框架，从排序列表上的用户偏好判断中推断DCG参数。
• 将DCG建模为线性效用函数，并利用基于偏好的优化方法学习其参数。
• 通过数值仿真评估该方法的可行性与有效性。

提出的方法

• 将DCG表述为线性效用函数，其中增益向量和折扣因子作为待学习的参数。
• 将用户偏好建模为成对排序，即某一排序被偏好于另一排序。
• 构建一个二次规划优化问题，以学习最符合观测偏好的增益向量和折扣因子。
• 通过约束条件确保顺序一致性：增益值必须递减，折扣因子必须严格递减。
• 引入距离度量（如汉明距离）以在增强模型中考虑排序差异的大小，从而反映偏好强度。
• 在无文档等级信息的情况下，将排序表示为二值向量，并直接从偏好对中学习效用权重。

实验结果

研究问题

• RQ1 DCG中增益值和折扣因子的选择是否显著影响不同排序函数的相对性能排名？
• RQ2 通过从用户偏好中学习参数，能否使DCG实现一致性，而非依赖于随意设定的参数？
• RQ3 是否能够利用偏好数据将DCG参数作为线性效用函数进行学习？
• RQ4 所提出的二次规划方法在学习有意义的DCG参数方面效果如何？
• RQ5 该方法是否能推广到无文档等级信息的情形？

主要发现

• DCG在一般情况下存在不一致性：不同的参数集合可能导致对排序函数的评估结果相互矛盾，尤其在使用超过两个相关性等级时更为明显。
• 所提出的方法成功地通过二次规划从用户偏好中学习DCG参数，显著提升了评估的一致性。
• 增强模型通过引入排序间距离度量，在基本模型基础上实现了有限但可观测的性能提升。
• 即使无法获取文档等级信息，该方法仍能准确地从偏好对中学习效用权重，从而实现有效的排序评估。
• 仿真结果表明，学习到的参数相比任意设定的参数，能提供更可靠且一致的性能比较结果。
• 该方法具有鲁棒性和可扩展性，随着训练偏好对数量的增加，精度持续提升。