[论文解读] Human Perception of Performance

Luca Pappalardo, Paolo Cintia+3 more|arXiv (Cornell University)|Dec 5, 2017

Sports Analytics and Performance参考文献 2被引用 10

一句话总结

本研究通过利用意大利体育报纸中大量球员评分数据，采用机器学习训练人工裁判模型，探究人类对足球表现的感知机制。研究发现，人类评分依赖于‘显著性启发法’，即仅极端的、非正态的表现特征——尤其是情境上显著的情况——会吸引注意力并主导评分，尽管存在丰富的技术数据。

ABSTRACT

Humans are routinely asked to evaluate the performance of other individuals, separating success from failure and affecting outcomes from science to education and sports. Yet, in many contexts, the metrics driving the human evaluation process remain unclear. Here we analyse a massive dataset capturing players' evaluations by human judges to explore human perception of performance in soccer, the world's most popular sport. We use machine learning to design an artificial judge which accurately reproduces human evaluation, allowing us to demonstrate how human observers are biased towards diverse contextual features. By investigating the structure of the artificial judge, we uncover the aspects of the players' behavior which attract the attention of human judges, demonstrating that human evaluation is based on a noticeability heuristic where only feature values far from the norm are considered to rate an individual's performance.

研究动机与目标

• 理解人类评估运动表现的认知机制，特别是足球领域中的表现。
• 识别影响人类裁判评分的性能特征与情境因素。
• 利用机器学习建模并解释人类评分过程，揭示其潜在启发法。
• 评估情境信息（如预期比赛结果）与原始技术指标在塑造评估中的作用。

提出的方法

• 收集了三份主要意大利体育报纸对760场意甲联赛（2015/2016–2016/2017赛季）的球员评分数据。
• 从100万条在场比赛事件中提取了150项技术与情境特征，包括传球、射门、进球以及博彩公司估算的比赛结果。
• 训练一个机器学习模型（随机森林回归器）基于这些特征预测人类评分，从而构建人工裁判。
• 应用多种特征选择技术——方差分析F检验、递归特征消除（RFE）、稳定性选择（SS）和平均不纯度减少（MDI）——以识别关键影响特征。
• 利用模型可解释性分析人工裁判的结构，重点关注特征重要性与显著性阈值（均值±2σ）。
• 使用均方根误差（RMSE）评估模型性能，并分析不同评分等级下的稳定性与特征变异性。

实验结果

研究问题

• RQ1 在足球领域，球员表现的哪些特征对人类评估者的评分影响最大？
• RQ2 与原始技术指标相比，情境因素（如预期比赛结果）在多大程度上影响人类对表现的感知？
• RQ3 人类评分过程在多大程度上偏离了对所有表现特征的全面评估？
• RQ4 是否存在一种认知启发法支撑人类表现评估？若存在，其结构如何？
• RQ5 人类评分在不同表现特征配置下，尤其是极端值时，是否具有稳定性和一致性？

主要发现

• 人类评分并非基于对所有表现特征的全面评估，而是受‘显著性启发法’驱动，即仅极端值（均值±2σ）会被注意到并赋予更高权重。
• 基于低维显著性表示的训练人工裁判与人类评分表现出高度统计一致性，表明人类评估本质上是简单且具有选择性的。
• 模型性能在约20个特征后趋于稳定，表明大多数表现指标对人类评分影响可忽略。
• 极端评分（如4.0和8.5）与最高的特征变异性相关（σ ≈ 0.61 和 0.58），表明高分或低分对应于不一致或高度可变的表现特征组合。
• 情境特征——尤其是博彩公司估算的预期比赛结果——显著提升了模型准确性，表明人类评估者会将情境背景整合到其判断中。
• 零模型（假设所有特征重要性均等）未能捕捉到极端评分时的特征变异性峰值，凸显了人类感知中整体表现评估的局限性。