[論文レビュー] FMP: Toward Fair Graph Message Passing against Topology Bias

Zhimeng Jiang, Xiaotian Han+5 more|arXiv (Cornell University)|Feb 8, 2022

Advanced Graph Neural Networks被引用数 14

ひとこと要約

本稿では、公平性とグラフスムージングの統合的最適化を通じて、トポロジー由来のバイアスを明示的に扱うことで、GNNにおける表現バイアスを軽減する新規なグラフメッセージスムージングフレームワークであるFair Message Passing (FMP)を提案する。FMPはFenchel共役と勾配降下を用いて、最小限の計算コストで公平で予測可能なノード表現を学習し、実世界のデータセットにおいて最先端の手法よりも優れた公平性と精度のトレードオフを達成する。

ABSTRACT

Despite recent advances in achieving fair representations and predictions through regularization, adversarial debiasing, and contrastive learning in graph neural networks (GNNs), the working mechanism (i.e., message passing) behind GNNs inducing unfairness issue remains unknown. In this work, we theoretically and experimentally demonstrate that representative aggregation in message-passing schemes accumulates bias in node representation due to topology bias induced by graph topology. Thus, a extsf{F}air extsf{M}essage extsf{P}assing (FMP) scheme is proposed to aggregate useful information from neighbors but minimize the effect of topology bias in a unified framework considering graph smoothness and fairness objectives. The proposed FMP is effective, transparent, and compatible with back-propagation training. An acceleration approach on gradient calculation is also adopted to improve algorithm efficiency. Experiments on node classification tasks demonstrate that the proposed FMP outperforms the state-of-the-art baselines in effectively and efficiently mitigating bias on three real-world datasets.

研究の動機と目的

• グラフ構造におけるトポロジーバイアスが、特に感受性属性の同質性が高いグラフにおいて、標準的なGNNのメッセージスムージングによって表現バイアスがどのように拡大するかを調査すること。
• 後処理正則化や敵対的訓練に依存せず、バックプロパゲーションと互換性があり、透明で効率的な方法を設計し、メッセージスムージング段階でバイアスを軽減すること。
• 公平性とグラフスムージングの目的を1つの最適化フレームワークに統合し、公平で予測可能なノード表現を生成すること。
• ソフトマックス関数の性質を活用して、提案フレームワークにおける勾配計算を高速化し、学習効率を向上させること。

提案手法

• ラグランジュ双対法を用いて、公平性（デモグラフィックパラティーション差の最小化）と予測性能（グラフスムージング）のバランスを取る連合最適化問題を定式化する。
• Fenchel共役を適用して、勾配ベース最適化に適した原始問題に双対問題を変換する。
• 感受性属性情報をメッセージスムージングの集約プロセスに組み込み、トポロジーバイアスに対抗する。
• 確率空間における摂動ベクトルの勾配更新則を導出することで、予測性能を損なわずに公平性を制御する。
• ソフトマックス関数の微分可能性と安定性を活用して、原始変数に対する勾配計算を加速する。
• 標準的なバックプロパゲーションと互換性を持つように、微分可能でエンドツーエンド学習可能なメッセージスムージングメカニズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造におけるトポロジーバイアスが、標準的なGNNのメッセージスムージングにおいて表現バイアスをどのように拡大させるか？
• RQ2 トポロジーバイアスに対抗することで、予測性能を維持しつつ公平性を向上させられるように、メッセージスムージングを再設計できるか？
• RQ3 トポロジーバイアス下でのノード表現最適化において、グラフスムージング、公平性、およびそれらの関係の理論的関係は何か？
• RQ4 精度や公平性を損なわず、公平性に配慮したメッセージスムージングフレームワークにおける勾配計算をどのように高速化できるか？

主な発見

• FMPは、Pokec-n、Pokec-z、NBAの3つの実世界データセットすべてにおいて、デモグラフィックパラティーション差（DP）を顕著に低減し、最先端のベースラインと比較して優れたバイアス軽減効果を示した。
• Pokec-nデータセットでは、FMPは最良のベースラインと比較して32.7%低いDP差を達成し、同等または優れた精度を維持した。
• 提案された高速化手法により、最も遅いベースライン（APPNP）と比較して、勾配計算のオーバーヘッドを最大64.07%まで削減でき、大規模グラフでも効率的であることが示された。
• ハイパーパramータ分析から、スムージングハイパーパramータが精度とバイアスに強く影響することが分かった一方で、最適な公平性ハイパーパramータが公平性と性能の最良なトレードオフをもたらすことが確認された。
• 正則化法や敵対的デバイアス法よりも、FMPは公平性と効率性の両面で優れており、vanilla GCNと比較してPokec-zではたった15.03%の時間オーバーヘッドにとどまった。
• 実験結果から、感受性属性の同質性が高くなる（例：Pokec-nでは95.30%）ほどバイアスの拡大が顕著になることが確認され、理論的分析の妥当性が裏付けられた。