[論文レビュー] FairGen: Towards Fair Graph Generation

Lecheng Zheng, Dawei Zhou+4 more|arXiv (Cornell University)|Mar 30, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

FairGen は、ラベル情報とユーザー定義のパリティ制約を統合することで、合成グラフにおける表現格差を軽減する公平性に配慮したグラフ生成モデルです。自己-paced学習を活用して、簡単なパターンから難しいパターンへ段階的に学習を進めるため、保護群（マイノリティ）に対するバイアスを低減する高品質なグラフを生成し、データ拡張によって下流タスクの性能を最大で17%向上させます。

ABSTRACT

There have been tremendous efforts over the past decades dedicated to the generation of realistic graphs in a variety of domains, ranging from social networks to computer networks, from gene regulatory networks to online transaction networks. Despite the remarkable success, the vast majority of these works are unsupervised in nature and are typically trained to minimize the expected graph reconstruction loss, which would result in the representation disparity issue in the generated graphs, i.e., the protected groups (often minorities) contribute less to the objective and thus suffer from systematically higher errors. In this paper, we aim to tailor graph generation to downstream mining tasks by leveraging label information and user-preferred parity constraints. In particular, we start from the investigation of representation disparity in the context of graph generative models. To mitigate the disparity, we propose a fairness-aware graph generative model named FairGen. Our model jointly trains a label-informed graph generation module and a fair representation learning module by progressively learning the behaviors of the protected and unprotected groups, from the `easy' concepts to the `hard' ones. In addition, we propose a generic context sampling strategy for graph generative models, which is proven to be capable of fairly capturing the contextual information of each group with a high probability. Experimental results on seven real-world data sets, including web-based graphs, demonstrate that FairGen (1) obtains performance on par with state-of-the-art graph generative models across nine network properties, (2) mitigates the representation disparity issues in the generated graphs, and (3) substantially boosts the model performance by up to 17% in downstream tasks via data augmentation.

研究の動機と目的

• 保護群（マイノリティ）が、教師なし学習の目的関数によって系統的に過小表現となる、グラフ生成モデルにおける表現格差を是正すること。
• ラベル情報とユーザーが好む公平性制約を組み込むことで、下流のマイニングタスクに適合したグラフ生成を実現すること。
• 保護群と非保護群の両方のグループに対して、公平な表現学習が保証されるように、合成グラフ内のバイアスを軽減すること。
• 高い確率でグループ固有の文脈的情報を公平に捉えることができる汎用的なコンテキストサンプリング戦略の開発。
• 公平性に配慮した生成が、データ拡張を通じて下流モデルの性能向上に寄与することを実証すること。

提案手法

• FairGen は、自己-paced学習の枠組みを採用しており、複雑なパターンに移行する前に、より単純（好ましい）なパターンから段階的に学習を進めることで、保護群の行動をよりよく捉えることを可能にします。
• ラベルを考慮したグラフ生成モジュールと公平な表現学習モジュールを同時に最適化することで、合成グラフが現実世界の構造的およびラベル分布と整合するようにします。
• 保護群と非保護群の両方のグループから、文脈的情報を高確率で捉えるために、新しいコンテキストサンプリング戦略を導入しています。
• 公平性制約の下で最小化される再構成損失を用いることで、マイノリティとマジョリティの両グループが学習目的関数にバランスよく寄与するようにします。
• グラフ構造の忠実度と表現学習の公平性の両方を最適化する二重目的損失関数を用いて、エンドツーエンドでモデルを訓練します。
• ノード表現を Node2Vec などのモデルから得ることで、グループ間のトポロジー構造の保存を保証し、可視化と評価に活用します。

実験結果

リサーチクエスチョン

• RQ1 グラフ生成モデルに公平性制約を効果的に統合することで、表現格差を軽減できるか？
• RQ2 自己-paced学習は、グラフ生成における過小表現（保護）群のモデリングをどのように改善するか？
• RQ3 ラベルを考慮した生成は、データ拡張を通じて、どの程度下流タスクの性能向上に寄与できるか？
• RQ4 汎用的なコンテキストサンプリング戦略は、合成グラフにおいて保護群と非保護群の両方を公平に表現できるか？
• RQ5 FairGen は、ネットワーク特性を保持しつつ、最先端のグラフ生成モデルと比較して、公平性をどのように確保しているか？

主な発見

• FairGen は、7つの実世界データセットにおける9つのネットワーク特性について、最先端のグラフ生成モデルと同等の性能を達成しています。
• t-SNE 視覚化によるトップロジー保存の改善から、保護群の表現格差が効果的に軽減されていることが示されています。
• FairGen は、データ拡張によって下流モデルの性能を最大で17%向上させ、実世界の応用における実用性を示しています。
• 提案されたコンテキストサンプリング戦略により、グループ固有の文脈的情報を高確率で捉えることができ、表現学習における公平性が向上しています。
• NetGAN や GAE、TagGen などのベースラインと比較して、FairGen は保護群と非保護群の間の構造的およびラベルベースの違いをよりよく保持しています。
• 自己-paced学習機構により、モデルは保護群の複雑なパターンを段階的に学習でき、生成における系統的なバイアスを低減しています。