[论文解读] Leveraging Multi-Method Evaluation for Multi-Stakeholder Settings

Christine Bauer, Eva Zangerle|arXiv (Cornell University)|Dec 14, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用 5

一句话总结

本文倡导在多利益相关者推荐系统（RS）中采用多方法评估，认为单一指标、以系统为中心的评估方法无法全面反映不同利益相关者的目标。通过整合定性与定量方法——如离线指标、A/B测试和用户调查——该研究揭示了以准确率为导向的评估所存在的盲点，并实现了在音乐推荐系统中对用户、艺术家和平台目标的平衡评估。

ABSTRACT

In this paper, we focus on recommendation settings with multiple stakeholders with possibly varying goals and interests, and argue that a single evaluation method or measure is not able to evaluate all relevant aspects in such a complex setting. We reason that employing a multi-method evaluation, where multiple evaluation methods or measures are combined and integrated, allows for getting a richer picture and prevents blind spots in the evaluation outcome.

研究动机与目标

• 解决推荐系统中单一指标、以准确率为焦点的评估方法所存在的局限性，此类方法往往忽视了多样化的利益相关者利益。
• 强调当前推荐系统研究主要聚焦于终端用户的效用，而忽视了平台提供方和内容创作者（如艺术家）的需求。
• 证明多方法评估对于捕捉用户体验、商业效用以及内容创作者目标（超越准确率）至关重要。
• 说明通过整合多种评估方法，可避免盲点，实现对推荐系统质量更丰富、更全面的评估。
• 主张从行为主义（如仅基于隐式反馈的A/B测试）转向基于理论、多方法的评估，包括主观用户反馈和利益相关者特定指标。

提出的方法

• 采用混合方法研究设计，结合定量与定性方法，从多个利益相关者视角评估推荐系统。
• 使用离线评估指标（如精确率、召回率）来衡量不同利益相关者目标下的算法性能。
• 整合在线A/B测试，评估对用户行为和业务指标（如播放次数、收入）的实际影响。
• 引入用户调查和主观反馈，以解释用户行为，并评估感知质量、新颖性与意外性。
• 应用解释性与探索性混合方法设计，连接各阶段的研究发现——例如，通过在线实验验证离线结果。
• 根据利益相关者特定目标（如按受众类型划分的每用户利润、艺术家的独立听众数量）对不同评估标准进行加权与整合。

实验结果

研究问题

• RQ1 单一指标评估方法为何无法全面捕捉推荐系统中利益相关者的多样化兴趣？
• RQ2 在音乐推荐系统中，不同利益相关者（用户、艺术家、平台提供方）的关键目标差异是什么？
• RQ3 多方法评估在何种方式下能揭示以准确率为焦点或以行为主义为导向的评估所遗漏的盲点？
• RQ4 如何有意义地结合定性与定量评估方法，以多利益相关者视角综合评估推荐系统质量？
• RQ5 在音乐推荐系统中，何种指标与评估策略最能平衡用户体验、艺术家可见度与平台盈利能力？

主要发现

• 仅依赖准确率的评估无法捕捉用户真实体验，例如在某些案例中，准确率较低但用户满意度和商业效用依然很高。
• 仅基于隐式反馈的A/B测试无法解释用户行为的内在原因，凸显了主观用户反馈在揭示行为动机方面的重要性。
• 离线评估结果并不总能推广到线上环境——某些系统在离线测试中表现良好，但在实际A/B测试中表现不佳，暴露出评估方法的缺陷。
• 艺术家具有多样化的目标，如扩大受众覆盖面或提升核心粉丝群体内的播放次数，这些目标需要超越准确率的指标，如独立听众数或按受众类型划分的利润。
• 多方法评估能够识别不同利益相关者目标之间的权衡，例如在用户满意度、艺术家可见度与平台盈利能力之间实现平衡。
• 将定性与定量方法相结合（如将离线指标与用户调查结合）可提供比单一方法更全面、更具理论基础的推荐系统性能理解。