[論文レビュー] Networked Inequality: Preferential Attachment Bias in Graph Neural Network Link Prediction

Arjun Subramonian, Levent Sagun+1 more|arXiv (Cornell University)|Sep 29, 2023

Complex Network Analysis Techniques被引用数 4

ひとこと要約

この論文は、対称正規化を用いたグラフ畳み込みネットワーク（GCNs）において、従来の研究で未発見であったグループ内優先接続バイアスを特定している。このバイアスは、ソーシャルグループ内のノード次数の幾何平均とリンク予測スコアの相関を示す。著者らは理論的および実験的に、このバイアスが次数およびパワー格差を拡大し、とりわけ低次数の個々の人物に不利に働くことを示し、グループ内公平性を測るための新しい指標を提案するとともに、訓練時における正則化戦略を導入し、学術的・ソーシャル的・クレジットネットワークにおいて不平等を効果的に低減している。

ABSTRACT

Graph neural network (GNN) link prediction is increasingly deployed in citation, collaboration, and online social networks to recommend academic literature, collaborators, and friends. While prior research has investigated the dyadic fairness of GNN link prediction, the within-group (e.g., queer women) fairness and "rich get richer" dynamics of link prediction remain underexplored. However, these aspects have significant consequences for degree and power imbalances in networks. In this paper, we shed light on how degree bias in networks affects Graph Convolutional Network (GCN) link prediction. In particular, we theoretically uncover that GCNs with a symmetric normalized graph filter have a within-group preferential attachment bias. We validate our theoretical analysis on real-world citation, collaboration, and online social networks. We further bridge GCN's preferential attachment bias with unfairness in link prediction and propose a new within-group fairness metric. This metric quantifies disparities in link prediction scores within social groups, towards combating the amplification of degree and power disparities. Finally, we propose a simple training-time strategy to alleviate within-group unfairness, and we show that it is effective on citation, social, and credit networks.

研究の動機と目的

• ネットワーク構造における次数バイアスが、グラフニューラルネットワーク（GNN）のリンク予測公平性に与える影響を調査すること。
• 対称正規化されたグラフフィルタを用いたGCNにおいて、従来未発見であったグループ内優先接続（PA）バイアスを特定・分析すること。
• 新しいグループ内公平性指標を導入することで、GCNのPAバイアスとリンク予測における不平等を橋渡しすること。
• グループ内不公平性を軽減する訓練時正則化戦略を提案し、その有効性を検証すること。
• 学術的・共同作業的・オンラインソーシャル・クレジットネットワークを含む多様な実世界ネットワークで、主張を検証すること。

提案手法

• 理論的分析により、対称正規化されたグラフフィルタを用いたGCNが、グループ内ノード次数の幾何平均に比例するリンク予測スコアを生成することを示し、グループ内PAバイアスの存在を示している。
• ノード次数の差に基づいて、社会的グループ間のLPスコア格差を定量化するための新しいグループ内公平性指標 $\widehat{\Delta}^{(b)}$ を提案している。
• 同じグループ内での異なる次数のノード間における不平等なLPスコア格差をペナルティとする訓練時正則化損失 $\mathcal{L}_{\text{fair}}$ を導入している。
• 本手法は、学術的（CORA, CITESEER, DBLP, PUBMED）、共同作業的（CS, PHYSICS）、オンラインソーシャル（LASTFMASIA, DE, EN, FR）、クレジット（NBA, GERMAN, DBLP-Fairness）ネットワークで評価されている。
• 2層および4層のGCNエンコーダーを比較することで、モデルの深さにかかわらず理論的発見の妥当性を検証している。
• 理論的予測と実際のGCN出力との間で、NRMSEおよびPCC指標を用いてPAバイアス仮説の妥当性を検証している。

実験結果

リサーチクエスチョン

• RQ1 対称正規化を用いたGCNは、リンク予測においてグループ内優先接続バイアスを示すか？
• RQ2 このバイアスは、特に学術的および共同作業的環境において、次数およびパワー格差をどのように拡大するか？
• RQ3 提案された新しいグループ内公平性指標は、ノード次数に基づいてグループ内でのリンク予測スコア格差を効果的に定量化できるか？
• RQ4 訓練時正則化戦略は、GCNベースのリンク予測におけるグループ内不公平性をどの程度軽減できるか？
• RQ5 PAバイアスはランダムウォーク正規化を用いたGCNに対しても持続するのか、それとも対称正規化に特異的か？

主な発見

• 対称正規化されたグラフフィルタを用いたGCNは、グループ内優先接続バイアスを示しており、リンク予測スコアは同じグループ内ノードの次数の幾何平均に比例する。
• 次数積と特徴類似度に基づく理論的LPスコア予測と、実際のGCN出力との間には強い相関があり、PCC値は全データセットで0.752〜0.950の範囲で変動する。
• 提案された公平性指標 $\widehat{\Delta}^{(b)}$ は、同じグループ内での高次数ノードと低次数ノードのLPスコア格差を効果的に捉えており、ほとんどのデータセットでNRMSE値が0.06未満である。
• 訓練時正則化戦略により、公平性損失 $\mathcal{L}_{\text{fair}}$ が最大75％まで低減され（例：NBAでは0.122から0.000、GERMANでは0.028から0.000）、テストAUCは維持またはわずかに向上した。
• 本手法は、学術的（CORA, DBLP）、共同作業的（CS, PHYSICS）、オンラインソーシャル（LASTFMASIA, EN）、クレジット（NBA, GERMAN）ネットワークの多様なネットワークタイプにわたり有効である。
• 4層のGCNエンコーダーでさえも、理論的および実験的結果がグループ内PAバイアスの存在を支持しており、NRMSEおよびPCC値は同等または改善されている。