[論文レビュー] Why Propagate Alone? Parallel Use of Labels and Features on Graphs

Yangkun Wang, Jiarui Jin+8 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Graph Neural Networks参考文献 20被引用数 5

ひとこと要約

この論文は、グラフニューラルネットワークで広く使われている「ラベルトリック」の理論的分析を提供し、その確率的ラベル分割が、データ適合項とグラフ構造に適応する正則化項から成る決定的訓練目的に還元可能であることを証明している。このアプローチにより、複数のGNNアーキテクチャおよびベンチマーク（OGBやMAG240M-LSCを含む）において性能が向上し、エンドツーエンド学習を可能にするとともにラベル漏洩を排除する。

ABSTRACT

Graph neural networks (GNNs) and label propagation represent two interrelated modeling strategies designed to exploit graph structure in tasks such as node property prediction. The former is typically based on stacked message-passing layers that share neighborhood information to transform node features into predictive embeddings. In contrast, the latter involves spreading label information to unlabeled nodes via a parameter-free diffusion process, but operates independently of the node features. Given then that the material difference is merely whether features or labels are smoothed across the graph, it is natural to consider combinations of the two for improving performance. In this regard, it has recently been proposed to use a randomly-selected portion of the training labels as GNN inputs, concatenated with the original node features for making predictions on the remaining labels. This so-called label trick accommodates the parallel use of features and labels, and is foundational to many of the top-ranking submissions on the Open Graph Benchmark (OGB) leaderboard. And yet despite its wide-spread adoption, thus far there has been little attempt to carefully unpack exactly what statistical properties the label trick introduces into the training pipeline, intended or otherwise. To this end, we prove that under certain simplifying assumptions, the stochastic label trick can be reduced to an interpretable, deterministic training objective composed of two factors. The first is a data-fitting term that naturally resolves potential label leakage issues, while the second serves as a regularization factor conditioned on graph structure that adapts to graph size and connectivity. Later, we leverage this perspective to motivate a broader range of label trick use cases, and provide experiments to verify the efficacy of these extensions.

研究の動機と目的

• GNNで広く採用されているが、その理解が不十分なラベルトリック（訓練ラベルをランダムに分割して特徴と並列に使用する手法）の理論的分析を行う。
• ラベルトリックの確率的アプローチが、決定的で解釈可能な訓練目的に還元可能かどうかを特定する。
• 実際の訓練プロセスにおいて、ラベルトリックが導入する正則化効果と一般化への影響を調査する。
• ラベルトリックを、従来非微分可能な手法（例：ラベル伝播やCorrect and Smooth (C&S)）に拡張し、エンドツーエンド学習を可能にする。
• OGBやMAG240M-LSCを含む多様なGNNアーキテクチャおよびベンチマークデータセットにおいて、手法の有効性を検証する。

提案手法

• ラベルの一部を入力から除外し、監視のみに使用する、確率的ラベルトリックの決定的自己除外簡略化を提案する。
• ラベルトリックの確率的アプローチが、データ適合項とグラフ構造および接続性に依存する正則化項から成る決定的目的関数に等価であることを証明する。
• 正則化項がグラフのサイズと密度に適応し、ラベル予測に対する滑らかさの事前分布として機能することを導出する。
• 決定的定式化を用いて、ラベルトリックを非エンドツーエンド手法（例：Correct and Smooth (C&S)）に拡張し、最適化可能な後処理を可能にする。
• ラベルトリックを組み込んだ、滑らかさ重みを最適化可能なC&Sのトレーニング可能なバージョンを導入する。
• Cora-full、PubMed、ogbn-arxiv、ogbn-productsを含む複数のベンチマークで、線形モデル、GNN、GBDTベースの予測器において手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的ラベルトリックは、決定的で解釈可能な訓練目的に還元可能か？
• RQ2 ラベルトリックが訓練プロセスに導入する統計的性質および正則化効果は何か？
• RQ3 ラベルトリックは、訓練時と推論時で予測が異なる場合に、モデルの一般化性能にどのように影響を与えるか？
• RQ4 従来非微分可能なグラフベースの手法に、ラベルトリックを拡張してエンドツーエンド学習を可能にできるか？
• RQ5 決定的定式化は、多様なGNNアーキテクチャおよび実世界のベンチマークで性能向上をもたらすか？

主な発見

• 確率的ラベルトリックは、ラベル漏洩を防ぐデータ適合項と、グラフ構造に適応する正則化項から成る決定的目的関数と理論的に等価である。
• PubMedとogbn-arxivでは、SGC、SIGN、TWIRLSモデルにおいて性能が向上し、PubMedで最大1.8%、ogbn-arxivで最大2.8%の向上を達成した。
• Cora-fullでは、ベースラインと同等の性能を維持した。これは、モデルがもともと訓練精度がほぼ100%に近いため、ラベル情報がすでに十分に埋め込まれており、利点の減少が見込まれるためである。
• 線形モデルでは、分割確率αが正則化係数として機能し、αが高くなるほど性能が向上するが、GNNでは内在的な非線形性のため、最適なαは低くなる。
• トレーニング可能なC&Sバージョンは、Cora-fullとPubMedでバリデーション精度で元のC&Sを上回り、ogbn-arxivおよびogbn-productsでも同等またはそれを上回った。
• GBDTと組み合わせた際、ラベルトリックは表形式ノード回帰データセットにおいて顕著な性能向上を示し、標準的なGNNを超えた広範な適用可能性を示した。