[论文解读] It's Time to Consider "Time" when Evaluating Recommender-System Algorithms [Proposal]

Joeran Beel|arXiv (Cornell University)|Jan 1, 2017

Recommender Systems and Techniques参考文献 23被引用 2

一句话总结

本文立场论文提出，应以在时间区间（如每周或每月）上计算的时间序列指标，取代推荐系统中的单数值评估指标，以揭示性能随时间的变化趋势。通过绘制如精确率或MAE等指标随时间的变化曲线，研究人员可检测算法有效性的变化，提升未来性能预测能力，并避免因静态平均值导致的误导性结论。

ABSTRACT

In this position paper, we question the current practice of calculating evaluation metrics for recommender systems as single numbers (e.g. precision p=.28 or mean absolute error MAE = 1.21). We argue that single numbers express only average effectiveness over a usually rather long period (e.g. a year or even longer), which provides only a vague and static view of the data. We propose that recommender-system researchers should instead calculate metrics for time-series such as weeks or months, and plot the results in e.g. a line chart. This way, results show how algorithms' effectiveness develops over time, and hence the results allow drawing more meaningful conclusions about how an algorithm will perform in the future. In this paper, we explain our reasoning, provide an example to illustrate our reasoning and present suggestions for what the community should do next.

研究动机与目标

• 挑战报告单数值评估指标（如精确率 = 0.38）的普遍做法，此类指标掩盖了时间动态特性。
• 指出静态指标在捕捉算法有效性随时间演变方面存在局限，尤其是在用户和物品群体随时间变化的真实系统中。
• 主张当前的评估实践导致对性能稳定性的过度简化假设，这可能无法反映真实世界的行为。
• 倡导研究实践向时间感知评估转变，以支持更优的算法选择与未来性能预测。
• 呼吁整个社区采纳时间序列指标，以增强推荐系统评估的可复现性、透明度与实际相关性。

提出的方法

• 在数据收集期的指定时间区间（如每月或每周）内，分别计算标准评估指标（如精确率、MAE、nDCG）。
• 使用折线图可视化结果，以展示各算法性能随时间的演变，支持趋势检测与对比。
• 采用时间感知的交叉验证技术，其中训练与测试在连续的时间段上进行（如在第1–6个月训练，第7–12个月测试），以模拟真实世界部署。
• 提出时间序列指标的标准化表示法，例如使用 p@m5 表示第五个月的精确率，以提升清晰度与一致性。
• 建议在空间受限的出版物中采用替代性紧凑表达方式，如报告区间内的最小值、最大值、均值、标准差或趋势函数。
• 鼓励使用现有数据集（如 MovieLens、RARD、Docear）对算法有效性是否随时间显著变化进行实证分析。

实验结果

研究问题

• RQ1 在真实世界或长期数据集上评估时，推荐系统算法的有效性在多大程度上随时间发生变化？
• RQ2 与单数值指标相比，时间序列评估在多大程度上会导致对算法优劣判断的不同结论？
• RQ3 在学术出版物中，尤其在空间受限的情况下，最有效的表示时间序列评估结果的方式是什么？
• RQ4 当前顶级会议中推荐系统评估在多大程度上仍依赖单数值指标而非时间分解分析？
• RQ5 为实现在社区范围内一致、可复现且有意义的时间序列评估，需要哪些记号与方法论标准？

主要发现

• 如精确率或MAE等单数值指标代表长期（如MovieLens 20M中的10年）的平均性能，掩盖了算法有效性的时间波动。
• 来自Mendeley和Docear等系统的实证证据表明，算法有效性可能随时间显著提升——例如，精确率在六个月内从0.025上升至0.4，表明性能非平稳。
• 对Movielens 1m数据集的分析显示，算法有效性随时间变化，部分算法表现出显著的时间趋势，尽管并不总足以改变与单数值结果相比的排名。
• 在Movielens上，'最流行'的基线算法随时间趋于接近随机基线，凸显依赖静态指标的风险。
• 时间感知评估可揭示关键性能变化，如精确率下降或误差上升，这些在聚合指标中无法察觉。
• 社区中缺乏标准化的时间序列评估实践，尽管已有越来越多证据表明存在时间动态，但大多数研究仍依赖单数值汇总。