[論文レビュー] Towards a Unified Framework for Fair and Stable Graph Representation Learning

Chirag Agarwal, Himabindu Lakkaraju+1 more|arXiv (Cornell University)|Feb 25, 2021

Ethics and Social Impacts of AI被引用数 40

ひとこと要約

本論文は、Nifty というフレームワークを提案します。これは、Lipschitzに基づくアーキテクチャ正規化とSiamese風の拡張を用いて、公平性と安定性の目的を統合することで、反事実的に公正で安定したグラフニューラルネットワーク（GNN）表現を学習します。

ABSTRACT

As the representations output by Graph Neural Networks (GNNs) are increasingly employed in real-world applications, it becomes important to ensure that these representations are fair and stable. In this work, we establish a key connection between counterfactual fairness and stability and leverage it to propose a novel framework, NIFTY (uNIfying Fairness and stabiliTY), which can be used with any GNN to learn fair and stable representations. We introduce a novel objective function that simultaneously accounts for fairness and stability and develop a layer-wise weight normalization using the Lipschitz constant to enhance neural message passing in GNNs. In doing so, we enforce fairness and stability both in the objective function as well as in the GNN architecture. Further, we show theoretically that our layer-wise weight normalization promotes counterfactual fairness and stability in the resulting representations. We introduce three new graph datasets comprising of high-stakes decisions in criminal justice and financial lending domains. Extensive experimentation with the above datasets demonstrates the efficacy of our framework.

研究の動機と目的

• GNNにおいて、公正性と perturbation への頑健性の両方を備えた表現の必要性を動機づける。
• 反事実的公正性とグラフ表現の安定性の関連を特定する。
• 任意のGNNに跨って公正で安定したノード埋め込みを学習するためにNiftyを提案・実装する。
• Lipschitz正規化と公正性・安定性の関係を理論的に保証する。
• 新たな高リスクのグラフデータセット（刑事司法と貸付分野）でNiftyを実証的に検証する。

提案手法

• 元のビューと拡張（反事実/ノイズ付き）ビューからの表現間の一致を最大化するトリプレットベースの目的を導入する。
• ノード属性の摂動、反事実的な敏感属性の反転、グラフ構造の摂動を通じて拡張ビューを生成する。
• 元の埋め込みと拡張埋め込みを一致させるための予測器を用いたシアメーストレーニングを適用する（Eq. 3）。
• エンコーダの属性重み行列の層ごとのLipschitzベース正規化を組み込み、埋め込み変化を抑制する（Eq. 5）。
• 層ごとの重みノルムの積に結びつく安定性と反事実的不公正の境界を示す理論的結果を提供する。
• Upd-stepの重みを正規化して、メッセージ伝播における公正性と安定性を担保することでGNNアーキテクチャを拡張する。

実験結果

リサーチクエスチョン

• RQ1 NiftyはGNNが公正で安定した埋め込みを学習できるようにするか。
• RQ2 反事実的公正性に加えて統計的平等性や機会均等といったグループ公正性 notionsをNiftyは達成できるか。
• RQ3 目的関数とアーキテクチャの両方で公正性と安定性を課すことが、下流の予測性能にどのように影響するか。
• RQ4 公正で安定な予測を実現するために、アーキテクチャと目的関数の変更は必須か。

主な発見

• Niftyは、3つのデータセットで5つのGNNに対して公正性と安定性を著しく改善し、公正性は平均92.01%、安定性は60.87%の改善として報告される。
• 反事実的公正性に関して公正な埋め込みを生み出すと同時に、統計的平等性や機会均等といったグループ公正性指標も改善する。
• Niftyは予測性能（AUROCとF1）を維持しつつ、公正性と安定性を高める。
• Encの安定性と層ごとの重みノルムに基づく反事実的不公正の境界を理論的に結びつけ、アーキテクチャ正規化と公正性・頑健性との関係を示す。
• 高リスクデータセット3件（刑事司法と金融貸付）での実験は、本手法の実践的有効性を示す。