[論文レビュー] MONET: Debiasing Graph Embeddings via the Metadata-Orthogonal Training Unit

John Palowitch, Bryan Perozzi|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 32被引用数 8

ひとこと要約

MONETは、グラフ構造埋め込みとノードメタデータ埋め込みの間で直交トレーニングを強制するニューラルネットワークモジュールを導入し、線形のデバイアス除去を保証する。実世界のグラフにおいて、感覚的メタデータのマスキングにおいて、敵対的およびNLPベースのデバイアス除去手法を上回り、シャッキングアタックのバイアスを完全に抑制しながら、高い埋め込み性能を維持する。

ABSTRACT

Are Graph Neural Networks (GNNs) fair? In many real world graphs, the formation of edges is related to certain node attributes (e.g. gender, community, reputation). In this case, standard GNNs using these edges will be biased by this information, as it is encoded in the structure of the adjacency matrix itself. In this paper, we show that when metadata is correlated with the formation of node neighborhoods, unsupervised node embedding dimensions learn this metadata. This bias implies an inability to control for important covariates in real-world applications, such as recommendation systems. To solve these issues, we introduce the Metadata-Orthogonal Node Embedding Training (MONET) unit, a general model for debiasing embeddings of nodes in a graph. MONET achieves this by ensuring that the node embeddings are trained on a hyperplane orthogonal to that of the node metadata. This effectively organizes unstructured embedding dimensions into an interpretable topology-only, metadata-only division with no linear interactions. We illustrate the effectiveness of MONET though our experiments on a variety of real world graphs, which shows that our method can learn and remove the effect of arbitrary covariates in tasks such as preventing the leakage of political party affiliation in a blog network, and thwarting the gaming of embedding-based recommendation systems.

研究の動機と目的

• ノードのエッジと性別、コミュニティ、レピュテーションなどの感覚的メタデータとの間の構造的相関が原因で生じるグラフニューラルネットワーク（GNN）における暗黙のバイアス問題に対処すること。
• 既存のアプローチの制限を克服し、グラフ埋め込みと感覚的メタデータの間のバイアス低減に対して正確な理論的保証を提供する手法を開発すること。
• 埋め込み空間におけるメタデータとトポロジー情報の解釈可能な分離を可能にし、有用な構造的情報を保持したままバイアスを選択的に除去できること。
• 単に埋め込み空間をメタデータ用に分割するのでは不十分であり、効果的なバイアス制御には直交トレーニングが必要であることを示すこと。

提案手法

• MONETは、トポロジー埋め込みとメタデータ埋め込みを直交する超平面にトレーニングすることで、線形非相関を保証する新しいGNNアーキテクチャコンponentを導入する。
• この手法は、感覚的ノード特徴を別々の部分空間に埋め込むメタデータエンコーダを使用し、その後、トポロジー埋め込み空間に対して直交的に投影する。
• メタデータ埋め込み行列に対して特異値分解（SVD）を適用し、低ランク表現を抽出した後、それをトポロジー埋め込みに対して直交的に投影する。
• トレーニング目的関数には、メタデータとトポロジー埋め込み部分空間の間の直交性を強制する正則化項が含まれており、この制約の強度を制御するハイパーパrameter λ が存在する。
• GloVe や DeepWalk などの既存のグラフ埋め込みフレームワークと互換性があり、アーキテクチャの大規模な見直しを伴わずに統合可能である。
• 直交性制約の強度 λ を調整することで、デバイアス除去とモデル性能の間で制御可能なトレードオフを実現できる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時における線形デバイアス除去手法を設計でき、グラフ埋め込みと感覚的メタデータの相関に関する正確な理論的保証を提供できるか？
• RQ2 単に埋め込み空間をメタデータ情報と分離するのではバイアス除去に十分か、それとも直交トレーニングが必要か？
• RQ3 MONETは、敵対的およびNLPベースのデバイアス除去手法と比較して、バイアス抑制および下流タスクのパフォーマンスにおいてどのように差をつけるか？
• RQ4 直交性制約は、元のトポロジー埋め込みの品質にどの程度影響を与えるか？
• RQ5 MONETは、埋め込み内でのメタデータ漏洩を排除することで、推薦システムにおけるシャッキングアタックを効果的に防止できるか？

主な発見

• MONETは実世界のアイテム検索実験において、シャッキングアタックのバイアスを完全に防止し、ターゲットアイテムの上位20近傍に攻撃されたアイテムがゼロ件にとどまった。
• MONETは、MRR（平均逆順位）においてランダムベースラインを最低8.5倍上回り、DeepWalkと同等のパフォーマンスを達成した。他の手法では、上位20リストに最大約7.5件の攻撃されたアイテムが残存していた。
• MONETの埋め込み距離とGloVeのトポロジー埋め込みのピアソン相関は 0.758 であり、元のグラフ信号への腐食が最小限であることを示している。
• MONETのウォールタイムはGloVe（357s）と比較してわずかに長く（442s）、メタデータ処理およびSVD操作による計算オーバーヘッドは顕著でない。
• 直交性制約（λ）を緩和するとデバイアス除去性能は低下するが、埋め込み品質は向上し、バイアス低減とモデル精度の間の制御可能なトレードオフが確認された。
• BLOGネットワークにおける政党所属のマスキングにおいて、MONETは敵対的およびNLPベースのベースラインを上回り、下流タスクのパフォーマンスに顕著な低下を来さなかった。