[논문 리뷰] MONET: Debiasing Graph Embeddings via the Metadata-Orthogonal Training Unit

John Palowitch, Bryan Perozzi|arXiv (Cornell University)|2019. 09. 25.

Advanced Graph Neural Networks참고 문헌 32인용 수 8

한 줄 요약

MONET는 그래프 구조 임베딩과 노드 메타데이터 임베딩 간의 직교 학습을 강제하는 신경망 모듈을 도입하여 증명 가능한 선형 탈편성(debiasing)을 보장한다. 이는 실제 그래프에서 민감한 메타데이터를 마스킹하는 데 있어 적대적 및 NLP 기반 탈편성 방법을 능가하며, 셸링 공격의 편향을 완전히 억제하면서도 높은 임베딩 성능을 유지한다.

ABSTRACT

Are Graph Neural Networks (GNNs) fair? In many real world graphs, the formation of edges is related to certain node attributes (e.g. gender, community, reputation). In this case, standard GNNs using these edges will be biased by this information, as it is encoded in the structure of the adjacency matrix itself. In this paper, we show that when metadata is correlated with the formation of node neighborhoods, unsupervised node embedding dimensions learn this metadata. This bias implies an inability to control for important covariates in real-world applications, such as recommendation systems. To solve these issues, we introduce the Metadata-Orthogonal Node Embedding Training (MONET) unit, a general model for debiasing embeddings of nodes in a graph. MONET achieves this by ensuring that the node embeddings are trained on a hyperplane orthogonal to that of the node metadata. This effectively organizes unstructured embedding dimensions into an interpretable topology-only, metadata-only division with no linear interactions. We illustrate the effectiveness of MONET though our experiments on a variety of real world graphs, which shows that our method can learn and remove the effect of arbitrary covariates in tasks such as preventing the leakage of political party affiliation in a blog network, and thwarting the gaming of embedding-based recommendation systems.

연구 동기 및 목표

• 성별, 커뮤니티 또는 평판과 같은 민감한 메타데이터와 간선 간의 구조적 상관관계로 인해 발생하는 그래프 신경망(GNN) 내 암묵적 편향 문제를 해결하기 위해.
• 기존 접근법의 한계를 극복하기 위해 그래프 임베딩과 민감한 메타데이터 간의 편향 감소에 대해 정확한 이론적 보장을 제공하는 방법을 개발하기 위해.
• 임베딩 공간에서 메타데이터와 구조 정보를 해석 가능한 방식으로 분리하여, 편향을 선택적으로 제거하면서도 유용한 구조 정보를 유지할 수 있도록 하기 위해.
• 단순히 메타데이터를 별도의 임베딩 공간으로 분할하는 것만으로는 탈편성에 충분하지 않으며, 효과적인 편향 제어를 위해서는 직교 학습이 필수적임을 입증하기 위해.

제안 방법

• MONET는 구조 임베딩과 메타데이터 임베딩을 서로 직교하는 초평면에서 학습시켜 선형 상관관계 제거를 보장하는 새로운 GNN 아키텍처 구성 요소를 도입한다.
• 이 방법은 민감한 노드 특징을 별도의 부분공간으로 매핑하기 위해 메타데이터 인코더를 사용하며, 이를 구조 임베딩 공간에 직교하게 투영한다.
• 메타데이터 임베딩 행렬에 특이값 분해(SVD)를 적용하여 저랭크 표현을 추출한 후, 이를 구조 임베딩과 직교하도록 투영한다.
• 학습 목표에는 메타데이터 및 구조 임베딩 부분공간 간의 직교성을 강제하는 정규화 항이 포함되어 있으며, 이 항의 강도는 하이퍼파라미터 λ로 제어된다.
• GloVe 및 DeepWalk과 같은 기존 그래프 임베딩 프레임워크와의 호환성이 있어 아키텍처의 대대적인 수정 없이도 플러그인 방식 통합이 가능하다.
• 직교성 제약의 강도 λ를 조절함으로써 탈편성과 모델 성능 사이의 제어 가능한 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 시점에서 그래프 임베딩과 민감한 메타데이터 간의 상관관계에 대해 정확한 이론적 보장을 제공하는 선형 탈편성 방법을 설계할 수 있는가?
• RQ2 메타데이터 정보를 별도의 임베딩 공간으로 분리하는 것만으로는 탈편성에 충분한가, 아니면 직교 학습이 필수적인가?
• RQ3 MONET은 적대적 및 NLP 기반 탈편성 방법에 비해 편향 억제 및 후속 성능 측면에서 어떻게 비교되는가?
• RQ4 직교성 제약이 기반 구조 임베딩의 품질에 어느 정도 영향을 미치는가?
• RQ5 MONET는 추천 시스템에서 메타데이터 누출을 제거함으로써 셸링 공격을 효과적으로 방지할 수 있는가?

주요 결과

• 실제 항목 검색 실험에서 MONET는 셸링 공격 편향을 완전히 방지하였으며, 타겟 항목의 상위 20개 근접 항목 중 공격당한 항목이 전혀 나타나지 않았다.
• MONET는 무작위 기준선 대비 평균 역상관순위(MRR)에서 최소 8.5배 높은 성능을 보였고, DeepWalk 수준의 성능을 유지하였다. 그 외 방법들은 상위 20개 목록에 최대 약 7.5개의 공격당한 항목을 포함하였다.
• MONET의 임베딩 거리와 GloVe의 구조 임베딩 간 피어슨 상관계수는 0.758로, 기반 그래프 신호의 손상이 최소한임을 보여준다.
• MONET의 월 타임은 GloVe(357s)와 비교해 다소 높은 편이지만(442s) 메타데이터 및 SVD 연산으로 인한 계산 오버헤드는 미미하다.
• 직교성 제약 강도 λ를 완화하면 탈편성 성능는 감소하지만 임베딩 품질은 향상되어, 편향 감소와 모델 정확도 사이의 제어 가능한 트레이드오프가 있음을 확인하였다.
• 블로깅 네트워크에서 정당소속을 마스킹하는 데 있어 MONET는 적대적 및 NLP 기반 기준선에 비해 뛰어난 성능을 보였고, 후속 작업에서의 성능 저하도 없었다.