[論文レビュー] Compositional Fairness Constraints for Graph Embeddings

Avishek Joey Bose, William L. Hamilton|arXiv (Cornell University)|May 25, 2019

Advanced Graph Neural Networks参考文献 31被引用数 95

ひとこと要約

敵対的で構成的なフレームワークがグラフ埋め込みにおける公正性不変性を強制し、感度属性の柔軟な組み合わせをテスト時に可能にし、見たことのない属性集合へ一般化する。

ABSTRACT

Learning high-quality node embeddings is a key building block for machine learning models that operate on graph data, such as social networks and recommender systems. However, existing graph embedding techniques are unable to cope with fairness constraints, e.g., ensuring that the learned representations do not correlate with certain attributes, such as age or gender. Here, we introduce an adversarial framework to enforce fairness constraints on graph embeddings. Our approach is compositional---meaning that it can flexibly accommodate different combinations of fairness constraints during inference. For instance, in the context of social recommendations, our framework would allow one user to request that their recommendations are invariant to both their age and gender, while also allowing another user to request invariance to just their age. Experiments on standard knowledge graph and recommender system benchmarks highlight the utility of our proposed framework.

研究の動機と目的

• 感度属性に関してグラフ埋め込みの表現不変性の概念を動機づけ、形式化する。
• 推論時に感度属性の任意の部分集合に対して不変な埋め込みを生成できる構成的エンコーダを開発する。
• 属性情報を除去する敵対的フィルタを導入し、柔軟なテスト時の組み合わせ公正性制約を可能にする。
• 知識グラフとレコメンダベンチマークでこのアプローチを示し、不変性とタスク性能のトレードオフを浮き彫りにする。

提案手法

• 選択された感度属性の集合 S に跨るフィルタ済み埋め込みを平均化する構成的エンコーダ c-enc を定義する（Equation 6）。
• ノード埋め込みから第 k 番目の感度属性に関する情報を除去する属性ごとのフィルタ f_k を学習する。
• 埋め込みから第 k 番目の属性を予測する敵対的識別器 D_k を訓練し、敵対的損失を形成する（Equation 7）。
• 訓練時にランダムな属性集合 S をサンプルする確率的 Bernoulli マスキング方式を使用し、見たことのない組み合わせへの一般化を促進する。
• エッジ予測損失と敵対的正則化を組み合わせたジョイント目的関数を最適化し、c-enc と識別器の更新を交互に行う。
• 十分な容量と正則化重みがあれば、埋め込みと感度属性間の相互情報量をゼロ近くまで引き下げられるという理論的直感を提供する。

実験結果

リサーチクエスチョン

• RQ1 複数の感度属性に対する表現的不変性は、敵対的で構成的フレームワークを介してグラフ埋め込みで強制できるか？
• RQ2 構成的アプローチは、エッジ予測性能を大幅に損なうことなく感度属性情報の除去を改善するか？
• RQ3 モデルはテスト時に見たことのない感度属性の組み合わせへの公正性不変性を一般化できるか？
• RQ4 構成的公正性は個々の属性ごとに公正性を強制する場合と比較してどうか？

主な発見

• 不変性とエッジ予測精度の制御可能なトレードオフを達成し、より多くの不変性は通常予測性能を低下させる。
• 構成的敵対者は、各属性ごとに別々の敵対者を訓練するよりも複数属性に関する情報を多く除去できることがある。
• 見たことのない感度属性の組み合わせへ十分一般化し、属性設定が大きい場合でも held-out 組み合わせでの性能低下は小さい。
• MovieLens-1M と Reddit では不変性が埋め込みから属性予測性をほぼ排除し、主要タスクには控えめな損失; Freebase-15k-237 では敏感情報の除去は性能を害さずには難しい。
• 経験的結果は敵対的正則化により予測バイアスが低減され、相関属性設定では構成的不変性が非構成的手法よりも優れていることを示す。