[论文解读] Cracking the Black Box: Distilling Deep Sports Analytics

Xiangyu Sun, Jack Davis+2 more|arXiv (Cornell University)|Jun 4, 2020

Sports Analytics and Performance参考文献 17被引用 4

一句话总结

本文提出了一种模型树模仿学习方法，将深度强化学习模型蒸馏为可解释的线性模型树，在保持高预测保真度的同时，为体育分析提供透明且可操作的洞察。该方法通过新颖的启发式算法实现大规模数据集的可扩展性，并通过特征重要性和规则提取揭示关键比赛状态规则。

ABSTRACT

This paper addresses the trade-off between Accuracy and Transparency for deep learning applied to sports analytics. Neural nets achieve great predictive accuracy through deep learning, and are popular in sports analytics. But it is hard to interpret a neural net model and harder still to extract actionable insights from the knowledge implicit in it. Therefore, we built a simple and transparent model that mimics the output of the original deep learning model and represents the learned knowledge in an explicit interpretable way. Our mimic model is a linear model tree, which combines a collection of linear models with a regression-tree structure. The tree version of a neural network achieves high fidelity, explains itself, and produces insights for expert stakeholders such as athletes and coaches. We propose and compare several scalable model tree learning heuristics to address the computational challenge from datasets with millions of data points.

研究动机与目标

• 通过创建保留预测能力的可解释模型，解决深度学习在体育分析中准确率与透明度之间的权衡问题。
• 开发可扩展的计算方法，用于在大规模体育数据集（如700万+数据点）上训练模型树，这些数据集超出了标准工具的处理能力。
• 从深度神经网络中提取可操作的、基于规则的洞察，以支持教练和运动员的战略决策。
• 通过透明的模型树暴露虚假相关性，实现对深度神经网络的调试。
• 通过学习反映比赛状态变量变化的透明模型，支持反事实分析。

提出的方法

• 训练一个深度强化学习（DRL）模型作为冰球和足球中体育动作（如射门、传球）的黑箱预测器。
• 使用DRL模型的输出作为软标签，训练一个线性模型树，以高保真度模仿其预测结果。
• 引入快速启发式方法——迭代分段回归和基于排序的阈值选择——以实现大规模数据集上模型树的可扩展构建。
• 应用一种新颖的数据增强技术，结合软标签，以增强反事实分析和模型泛化能力。
• 从模型树中提取可解释的规则，包括特征重要性和条件if-then规则，以说明比赛状态变量如何影响结果。
• 利用透明树检测数据泄露和模型伪影（如事件持续时间与Q值之间的虚假相关性），这些在黑箱模型中难以察觉。

实验结果

研究问题

• RQ1 透明的模型树是否能在不牺牲性能的前提下，准确模仿深度神经网络在体育分析中的预测？
• RQ2 如何将模型树学习方法扩展到处理包含数百万数据点的大规模体育数据集？
• RQ3 从模仿DRL模型的模型树的结构和规则中，可以提取出哪些关于比赛策略的可操作洞察？
• RQ4 透明的模型树能否揭示深度学习模型中隐藏的数据质量问题，如虚假相关性？
• RQ5 模型树在多大程度上可通过识别共享特征交互，支持跨体育项目的迁移学习？

主要发现

• 该模型树方法实现了高预测保真度，在冰球和足球数据集上均与原始深度神经网络的输出高度一致。
• 迭代分段回归成为最快捷的启发式方法，在超过七百万数据点的数据集上实现训练时间不足一天。
• 模型树成功提取了可解释的规则，例如冰球中球与球门距离和球队控球对射门成功率的影响，这些结果与领域专业知识相符。
• 模型树的透明性使我们能够检测到DRL模型中的数据泄露问题——特别是事件持续时间与Q值之间的虚假相关性——从而推动了模型改进。
• 该方法揭示了战略洞察，例如在足球中，射门前的穿透性传球效果较差，以及靠近球门的被阻挡射门影响显著更差。
• 该方法通过支持显式基于规则的推理，使用户能够探索“如果……会怎样”的情景，从而增强教练和运动员的决策能力。