[論文レビュー] Fairness-aware Message Passing for Graph Neural Networks

Huaisheng Zhu, Guoji Fu+4 more|arXiv (Cornell University)|Jun 19, 2023

Age of Information OptimizationComputer Science被引用数 3

ひとこと要約

本稿では、グラフニューラルネットワークにおける公平性を意識したメッセージパッシングフレームワークであるGMMDを提案する。この手法は、同じグループの表現の集約を減じるとともに、異なる感受性グループからの表現の集約を促進することで、モデルの公平性を向上させる。滑らかさ正則化を通じて高い性能を確保し、複数のベンチマークで最先端の公平性と精度のトレードオフを達成する。理論的裏付けのある変種GMMD-Sは、効率性の向上を図っている。

ABSTRACT

Graph Neural Networks (GNNs) have shown great power in various domains. However, their predictions may inherit societal biases on sensitive attributes, limiting their adoption in real-world applications. Although many efforts have been taken for fair GNNs, most existing works just adopt widely used fairness techniques in machine learning to graph domains and ignore or don't have a thorough understanding of the message passing mechanism with fairness constraints, which is a distinctive feature of GNNs. To fill the gap, we propose a novel fairness-aware message passing framework GMMD, which is derived from an optimization problem that considers both graph smoothness and representation fairness. GMMD can be intuitively interpreted as encouraging a node to aggregate representations of other nodes from different sensitive groups while subtracting representations of other nodes from the same sensitive group, resulting in fair representations. We also provide a theoretical analysis to justify that GMMD can guarantee fairness, which leads to a simpler and theory-guided variant GMMD-S. Extensive experiments on graph benchmarks show that our proposed framework can significantly improve the fairness of various backbone GNN models while maintaining high accuracy.

研究の動機と目的

• GNNのメッセージパッシングメカニズムにおける公平性を意識した設計の欠如、特に社会的バイアスを強化する傾向があることに対処すること。
• グラフの滑らかさと表現の公平性を明示的にバランスさせるメッセージパッシングフレームワークの開発。
• 公平な予測を保証するとともに高い性能を維持する理論的根拠に基づいた手法の提供。
• 実用的導入を想定した簡素化・効率化された変種（GMMD-S）の設計。
• 多様なグラフベンチマークにおける公平性と精度のトレードオフにおけるフレームワークの優位性を実証的に検証すること。

提案手法

• 滑らかさと公平性の正則化を組み合わせた最適化問題からフレームワークを導出する。公平性は最大平均差分（MMD）を用いて強制される。
• GMMDは、異なる感受性グループに属するノードからの表現を重み付きで集約し、同じグループからの表現を差し引くことでメッセージパッシングを実行する。
• この手法は、最適化目的関数を通じてグループ公平性指標の上界を最小化することとして解釈できる。
• 理論的分析から導かれた簡素化された変種、GMMD-Sは、複雑さを低減しつつも公平性の保証を維持する。
• フレームワークは任意のGNNバックボーンと互換性があり、既存の学習パイプラインにスムーズに統合可能である。
• 公平性と精度のバランスを図るため、α（カーネル類似度用）やM（MLPの深さ）といったハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおけるメッセージパッシングをどのように再設計すれば、バイアスを明示的に軽減しつつ予測性能を維持できるか？
• RQ2 一元的な最適化フレームワークにより、GNNにおけるグラフの滑らかさと表現の公平性を同時に強制できるか？
• RQ3 提案されたメッセージパッシング機構とグループ公平性指標（例：グループ公平性）との理論的関係は何か？
• RQ4 提案手法は、既存の公平性技術と比較して、公平性と精度のトレードオフにおいて優れているか？
• RQ5 フレームワークの簡素化された変種は、計算コストを削減しつつも、公平性性能を維持できるか？

主な発見

• GMMDは、ドイツ、保釈、クレジットの3つのベンチマークデータセットにおいて、すべての公平性指標を著しく向上させるとともに、精度を維持または向上させた。
• 公平性正則化を制御するハイパーパrameter α については、高い値（0.7、1.0）が、精度を損なわずより良い公平性性能をもたらすことが示された。
• MLPの層数Mは非単調な影響を示す。性能はM=2またはM=4でピークに達し、より深いネットワークでは過学習が生じ、性能が低下した。
• GMMD-Sは、訓練時間を短縮しながらGMMDと同等の公平性と精度を達成しており、公平性を損なわず効率性の向上が確認された。
• GMMDは、FairGNN、EDITS、FMPといった最先端のベースラインを上回り、公平性と精度のトレードオフにおいて優れた性能を示した。訓練時間も多数の手法と同等またはそれ以下であった。
• ケーススタディにより、GMMDはグループ間エッジに高い注目を向けることが確認され、グループベースの表現バイアス低減のメカニズムが有効に機能していることが裏付けられた。