[論文レビュー] FairNorm: Fair and Fast Graph Neural Network Training

O. Deniz Kose, Yanning Shen|arXiv (Cornell University)|May 20, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

FairNormは、感受性グループごとに公平性に配慮した学習可能な正規化操作を適用することにより、グラフニューラルネットワーク（GNN）における公平性と収束速度の両方を向上させる、新しい正規化フレームワークである。ノード分類タスクにおけるバイアスを低減し、統計的同等性差は最大8.45%、同等機会差は0.90%まで低下させる。非正規化ベースラインと比較して、学習を高速化する。

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to achieve state-of-the-art for a number of graph-based learning tasks, which leads to a rise in their employment in various domains. However, it has been shown that GNNs may inherit and even amplify bias within training data, which leads to unfair results towards certain sensitive groups. Meanwhile, training of GNNs introduces additional challenges, such as slow convergence and possible instability. Faced with these limitations, this work proposes FairNorm, a unified normalization framework that reduces the bias in GNN-based learning while also providing provably faster convergence. Specifically, FairNorm employs fairness-aware normalization operators over different sensitive groups with learnable parameters to reduce the bias in GNNs. The design of FairNorm is built upon analyses that illuminate the sources of bias in graph-based learning. Experiments on node classification over real-world networks demonstrate the efficiency of the proposed scheme in improving fairness in terms of statistical parity and equal opportunity compared to fairness-aware baselines. In addition, it is empirically shown that the proposed framework leads to faster convergence compared to the naive baseline where no normalization is employed.

研究の動機と目的

• GNN学習における公平性バイアスと遅い収束という二重の課題に対処すること。
• 公平性と最適化の改善を1つの正規化フレームワークに統合すること。
• 正規化層がグループごとの表現分布を操作することで、バイアスをどのように軽減できるかを分析すること。
• FairNormの公平性指標と収束速度における優位性を、公平性に配慮したベースラインおよび非正規化ベースラインと比較して実証的に検証すること。
• GNNにおけるバイアスの原因に関する理論的洞察に基づいた公平性正則化項の設計こと。

提案手法

• 感受性グループごとに学習可能なパラメータを持つ正規化層であるFairNormを導入し、GNNの隠れ表現における分布バイアスを低減すること。
• 2つの公平性に配慮した正則化項を採用：$\mathcal{L}_{\mu}$ はグループ平均の一致を、$\mathcal{L}_{\Delta}$ はグループ間の分散差を最小化すること。
• 理論的分析により、公平性に配慮したシフト操作が正規化なしの場合よりも収束速度が向上することを証明した。
• GNN層のアグリゲーション後に正規化を適用することで、公平性と最適化の両方の利点を獲得したエンドツーエンド学習を可能にした。
• 非線形性の多様性を評価するために、実験でReLUとSigmoid活性化関数を用いた。
• GNN損失と公平性正則化項を統合した統一された学習目的関数を採用し、ユーティリティと公平性を同時に最適化した。

実験結果

リサーチクエスチョン

• RQ1 正規化層を活用することで、GNNにおける公平性バイアスの低減と収束速度の向上を同時に達成できるか？
• RQ2 隠れ表現におけるグループごとの平均と分散のシフトが、GNNにおける公平性にどのように影響するか？
• RQ3 公平性に配慮した正則化項が、統計的同等性と同等機会の指標に与える影響は何か？
• RQ4 FairNormは、公平性に配慮したベースラインと比較して、公平性と収束速度の両面で優れているか？
• RQ5 FairNormの性能は、$\kappa$ や $\tau$ などのハイパーパrameterにどれほど敏感か？

主な発見

• Pokec-zでは統計的同等性差を1.35%に、Pokec-nでは1.26%にまで低減し、M-Norm（5.57%と2.48%）や他のベースラインを上回った。
• Reconvictionネットワークでは、FairNormが0.90%の同等機会差を達成した。これはM-Normの1.71%と比べて顕著に低い。
• 非正規化ベースラインと比較して、FairNormは収束速度を向上させ、すべてのデータセットでより速い学習ダイナミクスが観察された。
• アブレーションスタディにより、$\mathcal{L}_{\mu}$ と $\mathcal{L}_{\Delta}$ を組み合わせることで最も優れた公平性性能が得られ、特に $\mathcal{L}_{\mu}$ が主導的要因であることが確認された。
• 感度分析の結果、$\kappa=0.01$ および $\tau=10^{-10}$ が最適な公平性結果をもたらし、$\kappa=100$ では性能が劣化した。
• FairNormは、例えばReconvictionデータセットで95.11%の高い精度を維持しながら、顕著に改善された公平性指標を達成しており、ユーティリティと公平性のトレードオフのバランスを示している。