[论文解读] A Supervised Learning Approach to Rankability

Nathan McJames, David M. Malone+1 more|arXiv (Cornell University)|Mar 14, 2022

Sports Analytics and Performance被引用 5

一句话总结

本文提出了一种监督学习框架，用于评估可排序性——即数据集适合有意义排序的程度——通过扰动完全支配图生成具有已知目标可排序性的合成图。结果表明，基于这些图训练的随机森林回归模型能够准确预测分布外的合成数据和现实世界体育数据集中的可排序性，与现有可排序性度量方法表现出高度一致性，并为传统方法提供了一种灵活且可扩展的替代方案。

ABSTRACT

The rankability of data is a recently proposed problem that considers the ability of a dataset, represented as a graph, to produce a meaningful ranking of the items it contains. To study this concept, a number of rankability measures have recently been proposed, based on comparisons to a complete dominance graph via combinatorial and linear algebraic methods. In this paper, we review these measures and highlight some questions to which they give rise before going on to propose new methods to assess rankability, which are amenable to efficient estimation. Finally, we compare these measures by applying them to both synthetic and real-life sports data.

研究动机与目标

• 开发一种灵活且可扩展的框架，用于评估和预测以有向图表示的数据集的可排序性。
• 解决现有可排序性度量方法的局限性，特别是其在稀疏或非支配图结构上的表现不佳。
• 通过生成具有已知目标可排序性的训练数据，使机器学习可用于可排序性预测。
• 在合成图和现实世界体育数据集上验证所提方法的性能。
• 探索该方法在不同类型和规模图上的泛化能力，包括稀疏数据。

提出的方法

• 通过扰动完全支配图生成具有预设目标可排序性的合成图，构建受控的训练数据集。
• 提取图属性（例如三角形数量、边密度、谱特征）作为机器学习模型的输入特征。
• 在合成数据上训练随机森林回归模型，基于这些特征预测可排序性。
• 在使用不同模型生成的分布外合成图上测试训练好的模型，以评估泛化能力。
• 将模型应用于现实世界体育数据集（例如橄榄球和足球比赛结果）以评估实际性能。
• 将监督模型的预测结果与[1]和[2]中既有的可排序性度量进行比较，以验证一致性。

实验结果

研究问题

• RQ1 当在具有已知目标可排序性的合成数据上进行训练时，监督学习方法能否准确预测有向图的可排序性？
• RQ2 训练好的模型在分布外的合成图和现实世界体育数据上的泛化能力如何？
• RQ3 监督模型的预测结果与基于边编辑和谱变异的现有可排序性度量之间的相关性有多大？
• RQ4 模型性能在不同图类型中，特别是稀疏图中，表现如何？
• RQ5 在机器学习框架中，哪些图属性可作为可排序性的有效预测因子？

主要发现

• 随机森林回归模型在分布外的合成数据上表现出色，表明其能有效从训练分布中泛化。
• 在修改图生成过程以包含稀疏配置后，模型在稀疏数据上表现出鲁棒性。
• 在现实世界体育数据集上，监督模型的预测结果与既有的可排序性度量之间观察到强烈的正相关性。
• 该框架通过生成具有已知目标可排序性的图，成功实现了对现有可排序性度量的评估。
• 该方法表现出灵活性和可扩展性，支持多种图生成模型和回归算法。
• 该方法在罕见或结构迥异的图（如循环图）上性能有限，这些图未出现在训练数据中。