[論文レビュー] Subgroup Generalization and Fairness of Graph Neural Networks

Jiaqi Ma, Junwei Deng+1 more|arXiv (Cornell University)|Jun 29, 2021

Advanced Graph Neural Networks参考文献 45被引用数 27

ひとこと要約

本論文は、非IIDノードレベル半教師付き学習におけるGNNの新規PAC-ベイズ分析を開発し、サブグループ一般化境界を導出し、訓練データからの距離に関連するテストノードサブグループ間の理論的および実証的精度の差を示す。

ABSTRACT

Despite enormous successful applications of graph neural networks (GNNs), theoretical understanding of their generalization ability, especially for node-level tasks where data are not independent and identically-distributed (IID), has been sparse. The theoretical investigation of the generalization performance is beneficial for understanding fundamental issues (such as fairness) of GNN models and designing better learning methods. In this paper, we present a novel PAC-Bayesian analysis for GNNs under a non-IID semi-supervised learning setup. Moreover, we analyze the generalization performances on different subgroups of unlabeled nodes, which allows us to further study an accuracy-(dis)parity-style (un)fairness of GNNs from a theoretical perspective. Under reasonable assumptions, we demonstrate that the distance between a test subgroup and the training set can be a key factor affecting the GNN performance on that subgroup, which calls special attention to the training node selection for fair learning. Experiments across multiple GNN models and datasets support our theoretical results.

研究の動機と目的

• GNNの一般化を非IIDノードレベル半教師付き学習の下で扱うPAC-Bayesianフレームワークを提供する。
• テストと訓練ノード特徴量間の距離に依存するサブグループ特性の一般化境界を導出する。
• 訓練データとの距離で定義されるテストサブグループ間の精度差（公平性）を理論的・経験的に調査する。
• GNNの公平性に影響を与える訓練ノード選択とグラフ構造を強調する。

提案手法

• グラフ上のノードレベル半教師付き学習を、固定されたX,Gと特徴量Z=g(X,G)に条件付けたラベルのランダム性として定式化する。
• サブグループ間の確率的および決定論的分類器に対して、期待損失差D^gamma_{m,m'}(P;λ)を導入し、PAC-Bayesian境界を導出する。
• h_i(X,G)=f(g_i(X,G);W1,...,WL)となるGNNに境界を特化し、訓練集合V0への距離ε_mを含むサブグループ一般化境界を導出する。
• 集約特徴で条件付けられたラベル分布とモデル・データ依存仮定（仮定1〜4）に対して滑らかさを課し、ずれ項D^gamma_{m,0}(P;λ)を上界する。
• 定理3を提示し、GNNのサブグループ一般化境界を示し、ε_m、ネットワーク幅b、層ノルム、訓練サイズN0の依存性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 非IIDノードレベルデータは半教師付き設定におけるGNNの一般化へどのように影響するか？
• RQ2 GNNのサブグループ特異的一般化誤差を境界付けし、サブグループ間の格差を生む要因を理解できるか？
• RQ3 テストサブグループと訓練セットとの距離は精度/差異を予測し、GNNの公平性をどう示唆するか？
• RQ4 訓練データの選択とグラフ構造はGNN予測のサブグループ公平性にどのような影響を与えるか？

主な発見

• 非IIDノードレベルGNNの一般化境界をPAC-Bayesianに開発し、訓練サブグループとテストサブグループ間の期待損失差によりサブグループ一般化を結びつける。
• GNNのサブグループ一般化境界は、訓練セットへの集約特徴距離ε_mが大きいサブグループほどテスト誤差が大きくなることを示す。
• 境界は潜在的な不公平を示唆しており、訓練データから遠いサブグループは一般化保証が弱く、精度も低くなる可能性がある。
• Cora、Citeseer、PubMedでのGCN、GAT、SGC、APPNPを用いた実証結果は、訓練データへの距離および測地距離で定義されるサブグループ間に有意な精度差を示し、理論を検証した。
• 偏った訓練ノード選択（中心性ベース）は格差を悪化させ、訓練データの選択が公平性に与える影響を強調する。