[論文レビュー] GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks

Yixuan He, Quan Gan+4 more|arXiv (Cornell University)|Feb 1, 2022

Sports Analytics and Performance被引用数 6

ひとこと要約

GNNRankは、ペアワイズ比較からグローバル順位付けを学習するための新しい微分可能GNNフレームワークを提案する。これは、比較を有向グラフとしてモデル化し、Fiedlerベクトルの計算をインダクティブバイアスとして組み込む。2つの新しい微分可能な損失関数を導入し、順位付けの目的関数を直接最適化することで、強力な汎化性と転移性を備えた最先端の性能を達成する。

ABSTRACT

Recovering global rankings from pairwise comparisons has wide applications from time synchronization to sports team ranking. Pairwise comparisons corresponding to matches in a competition can be construed as edges in a directed graph (digraph), whose nodes represent e.g. competitors with an unknown rank. In this paper, we introduce neural networks into the ranking recovery problem by proposing the so-called GNNRank, a trainable GNN-based framework with digraph embedding. Moreover, new objectives are devised to encode ranking upsets/violations. The framework involves a ranking score estimation approach, and adds an inductive bias by unfolding the Fiedler vector computation of the graph constructed from a learnable similarity matrix. Experimental results on extensive data sets show that our methods attain competitive and often superior performance against baselines, as well as showing promising transfer ability. Codes and preprocessed data are at: \url{https://github.com/SherylHYX/GNNRank}.

研究の動機と目的

• ペアワイズ比較から直接順位付けの目的関数を最適化できる、エンドツーエンドで学習可能なGNNベースの順位付けモデルにおけるギャップを埋める。
• バックプロパゲーションに有効に作用するように、順位違反（アンプレジエンス）を符号化する微分可能な損失関数を導入し、先行研究で用いられる区分的定数関数の指標の限界を克服する。
• Fiedlerベクトルの計算を、学習可能で微分可能なインダクティブバイアスとしてGNNアーキテクチャに統合し、潜在的な順序構造を捉える。
• 類似した構造的パターンを示す多様なデータセットにわたって、良好に一般化する1つのモデルを訓練することで、転移学習を可能にする。
• 提案された学習手順の収束保証を理論的に提供し、ロバストネスと安定性を確保する。

提案手法

• フレームワークは、アイテムをノードとし、相対的好みをエッジとして持つ有向グラフをペアワイズ比較から構築する。
• 学習可能な類似度行列を用いてグラフラプラシアンを構築し、そのFiedlerベクトルが潜在的な順位構造を符号化する。
• Fiedlerベクトルの計算をプロキシマル勾配ステップによって展開し、GNNアーキテクチャに微分可能に統合したインダクティブバイアスとして統合する。
• 2つの新しい微分可能な損失関数を導入する：1つは順位違反（アンプレジエンス）を最小化するもの、もう1つは順位の質を細かく評価するもの。
• バックプロパゲーションを用いてエンドツーエンドで学習し、Fiedlerベクトルの計算をネットワーク全体にわたり完全に微分可能にする。
• 類似した比較構造を示す新しいデータセットに対して、事前学習済みのGNNを再利用することで、転移学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ比較から微分可能な損失関数を用いて、順位付けの目的関数を直接最適化できるGNNベースのフレームワークを設計できるか？
• RQ2 Fiedlerベクトルの計算を、順位付けのための深層学習モデルに微分可能なインダクティブバイアスとして統合する方法は何か？
• RQ3 提案手法は、精度とロバストネスの観点で、既存の最先端の順位付けベースラインを上回るか？
• RQ4 訓練済みのGNNモデルは、転移学習によって、新しいデータセットに効果的に一般化できるか？
• RQ5 提案された学習手順の収束に対して、どのような理論的保証を提供できるか？

主な発見

• GNNRankは、バスケットボールやサッカーの試合データを含む複数のベンチマークデータセットにおいて、最先端の手法と同等または優れた順位付けの正確性を達成する。
• モデルは、事前学習後に新しいデータセットに適用しても高い性能を維持する、強力な転移性を示す。
• 提案された微分可能な損失関数により、従来の非微分可能指標（例：$\mathcal{L}_{upset,naive}$）のみを評価に用いた手法とは異なり、効果的なエンドツーエンド学習が可能になる。
• Fiedlerベクトルの計算をインダクティブバイアスとして統合することで、潜在的な順序構造を符号化し、順位付けの質が著しく向上する。
• 最小違反順位（MVR）のような高価な最適化ベースの手法よりも、漸近的時間計算量が優れている。
• 理論的収束保証が提供され、学習ダイナミクスのための新規で技術的に洗練された基盤が確立された。