[论文解读] GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks

Yixuan He, Quan Gan+4 more|arXiv (Cornell University)|Feb 1, 2022

Sports Analytics and Performance被引用 6

一句话总结

GNNRank 提出了一种新颖的可微分图神经网络（GNN）框架，通过将成对比较建模为有向图，并引入费德勒向量计算作为归纳偏置，从而从成对比较中学习全局排序。它引入了两种新颖的可微分损失函数，直接优化排序目标，在多个数据集上实现了最先进的性能，展现出强大的泛化能力和可迁移性。

ABSTRACT

Recovering global rankings from pairwise comparisons has wide applications from time synchronization to sports team ranking. Pairwise comparisons corresponding to matches in a competition can be construed as edges in a directed graph (digraph), whose nodes represent e.g. competitors with an unknown rank. In this paper, we introduce neural networks into the ranking recovery problem by proposing the so-called GNNRank, a trainable GNN-based framework with digraph embedding. Moreover, new objectives are devised to encode ranking upsets/violations. The framework involves a ranking score estimation approach, and adds an inductive bias by unfolding the Fiedler vector computation of the graph constructed from a learnable similarity matrix. Experimental results on extensive data sets show that our methods attain competitive and often superior performance against baselines, as well as showing promising transfer ability. Codes and preprocessed data are at: \url{https://github.com/SherylHYX/GNNRank}.

研究动机与目标

• 解决现有基于GNN的端到端可训练排序模型在直接从成对比较中优化排序目标方面的空白。
• 提出可微分损失函数以编码排序违规（冷门胜出），实现有效的反向传播，克服以往工作中仅使用分段常数度量的局限性。
• 将费德勒向量计算作为可学习、可微分的归纳偏置嵌入GNN架构中，以捕捉潜在排序结构。
• 通过训练单一模型使其在具有相似结构模式的多样化数据集上具有良好泛化能力，实现迁移学习。
• 为所提出的训练过程提供理论收敛保证，确保鲁棒性和稳定性。

提出的方法

• 该框架从成对比较构建有向图，其中节点代表项目，边代表相对偏好。
• 它使用可学习的相似度矩阵构建图拉普拉斯矩阵，其费德勒向量编码了潜在的排序结构。
• 通过近端梯度步骤展开费德勒向量计算，并将其可微分地集成到GNN架构中作为归纳偏置。
• 引入两种新颖的可微分损失函数：一种用于最小化排序违规（冷门胜出），另一种用于精细化评估排序质量。
• 使用反向传播进行端到端训练，费德勒向量计算在全网络中完全可微。
• 该方法通过在具有相似比较结构的新数据集上重用预训练的GNN，支持迁移学习。

实验结果

研究问题

• RQ1 能否设计一种基于GNN的框架，通过可微分损失直接从成对比较中优化排序目标？
• RQ2 如何将费德勒向量计算作为可微分的归纳偏置集成到深度学习模型中以用于排序？
• RQ3 所提出的方法在准确性和鲁棒性方面是否优于现有的最先进排序基线？
• RQ4 经过预训练的GNN模型是否能通过迁移学习在新数据集上有效泛化？
• RQ5 为所提出的训练过程可提供哪些理论收敛保证？

主要发现

• GNNRank 在包括篮球和足球比赛数据在内的多个基准数据集上，实现了与最先进方法相当或更优的排序准确性。
• 该模型展现出强大的可迁移性，在预训练后应用于新数据集时仍能保持高性能。
• 所提出的可微分损失函数实现了有效的端到端训练，而以往方法仅使用不可微分的度量（如 $\mathcal{L}_{upset,naive}$）进行评估。
• 将费德勒向量计算作为归纳偏置的整合，显著提升了排序质量，有效编码了潜在排序结构。
• 与计算成本较高的基于优化的方法（如最小违规排序，MVR）相比，该方法具有更优的渐近时间复杂度。
• 提供了理论收敛保证，为训练动态建立了新颖且技术严谨的理论基础。