[论文解读] Assessing top-$k$ preferences

Charles L. A. Clarke, Alexandra Vtyurina+1 more|arXiv (Cornell University)|Jul 22, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 45被引用 4

一句话总结

本文提出了一种新型的排序系统评估方法，利用部分 top-$k$ 偏好判断，其中评估者仅比较顶层项目而非完整排序。通过测量系统输出与基于这些偏好推导出的理想排序之间的兼容性，该方法能够检测现代神经排序模型中 NDCG 所忽略的细微改进，为传统分级评估提供了一种更敏感且实用的替代方案。

ABSTRACT

Assessors make preference judgments faster and more consistently than graded judgments. Preference judgments can also recognize distinctions between items that appear equivalent under graded judgments. Unfortunately, preference judgments can require more than linear effort to fully order a pool of items, and evaluation measures for preference judgments are not as well established as those for graded judgments, such as NDCG. In this paper, we explore the assessment process for partial preference judgments, with the aim of identifying and ordering the top items in the pool, rather than fully ordering the entire pool. To measure the performance of a ranker, we compare its output to this preferred ordering by applying a rank similarity measure.We demonstrate the practical feasibility of this approach by crowdsourcing partial preferences for the TREC 2019 Conversational Assistance Track, replacing NDCG with a new measure named "compatibility". This new measure has its most striking impact when comparing modern neural rankers, where it is able to recognize significant improvements in quality that would otherwise be missed by NDCG.

研究动机与目标

• 解决信息检索中偏好判断缺乏成熟评估度量的问题。
• 提升对现代神经排序模型之间性能差异的检测敏感度，尤其是在 NDCG 无法捕捉有意义提升时。
• 通过仅关注 top-$k$ 项目而非完整排序，降低评估成本与工作量。
• 开发一种实用且可扩展的离线评估方法，利用众包获得的部分偏好数据。
• 证明基于偏好的评估能比分级判断更好地反映真实用户偏好。

提出的方法

• 聚焦部分偏好：评估者仅对每个查询的 top-$k$ 项进行判断，形成对最佳结果的弱序关系。
• 将理想排序集合定义为所有与部分偏好一致的 top-$k$ 项排列，排除非相关项。
• 使用 Rank Biased Overlap (RBO) 计算系统实际排序与集合中每个理想排序之间的相似性。
• 将兼容性定义为系统输出与集合中任意理想排序之间的最大 RBO 相似性。
• 在离线信息检索评估中，以兼容性替代传统的 NDCG 作为主要评估度量。
• 将该方法应用于 TREC 2019 对话辅助任务（TREC 2019 Conversational Assistance Track），以众包获得的 top-5 偏好和原始分级判断作为基线。

实验结果

研究问题

• RQ1 与 NDCG 相比，部分 top-$k$ 偏好判断是否能为现代神经排序模型提供更敏感的评估指标？
• RQ2 兼容性在检测排序模型之间有意义性能差异方面与 NDCG 相比如何？
• RQ3 兼容性能否有效识别出 NDCG 无法捕捉的排序模型改进？
• RQ4 利用众包获得的部分偏好进行大规模信息检索评估在实际可行性方面如何？
• RQ5 聚焦于 top-$k$ 偏好是否能更好地与实际用户点击行为和偏好模式对齐？

主要发现

• 兼容性检测到了 TREC 2019 CAsT 任务中前四名运行结果之间显著的性能差异，而 NDCG@3 未能区分这些差异。
• 当仅使用众包获得的 top-5 答案作为理想排序时，兼容性在检测排序模型差异方面的敏感度达到 73.3%，高于仅使用分级判断的情况。
• 即使仅使用单一最佳答案作为理想排序，兼容性仍保持了对前几名运行结果的相对排序，尽管敏感度下降至 55.2%。
• 神经排序模型在兼容性下表现出可测量的改进，而这些改进在 NDCG 下完全未被察觉，表明兼容性对细微质量提升具有更高的敏感度。
• 该方法在实际中可行且可扩展，已在真实世界的信息检索评估任务中通过众包得到验证。
• 将初始分级评估简化为三个类别（相关、相关但不完全、不相关）可显著简化流程，同时保持评估质量。