[논문 리뷰] Compositional Fairness Constraints for Graph Embeddings

Avishek Joey Bose, William L. Hamilton|arXiv (Cornell University)|2019. 05. 25.

Advanced Graph Neural Networks참고 문헌 31인용 수 95

한 줄 요약

적대적이고 구성적 프레임워크가 그래프 임베딩에서 공정성 불변성을 강제하여, 민감 속성의 유연한 테스트 시점 조합과 보이지 않는 속성 셋에 대한 일반화를 가능하게 한다.

ABSTRACT

Learning high-quality node embeddings is a key building block for machine learning models that operate on graph data, such as social networks and recommender systems. However, existing graph embedding techniques are unable to cope with fairness constraints, e.g., ensuring that the learned representations do not correlate with certain attributes, such as age or gender. Here, we introduce an adversarial framework to enforce fairness constraints on graph embeddings. Our approach is compositional---meaning that it can flexibly accommodate different combinations of fairness constraints during inference. For instance, in the context of social recommendations, our framework would allow one user to request that their recommendations are invariant to both their age and gender, while also allowing another user to request invariance to just their age. Experiments on standard knowledge graph and recommender system benchmarks highlight the utility of our proposed framework.

연구 동기 및 목표

• 그래프 임베딩에 대해 민감 속성과 관련된 표현 불변성의 개념을 동기 부여하고 형식화한다.
• 추론 시점에 임의의 민감 속성 부분집합에 대해 불변인 임베딩을 생성할 수 있는 구성적 인코더를 개발한다.
• 속성 정보를 제거하는 적대적 필터를 도입하여 유연한, 테스트 시점 조합의 공정성 제약을 가능하게 한다.
• 지식 그래프 및 추천 벤치마크에서 접근 방식을 시연하고, 불변성과 작업 성능 간의 트레이드오프를 강조한다.

제안 방법

• 선택된 민감 속성 집합 S에 걸친 필터링된 임베딩을 평균화하는 구성적 인코더 c-enc를 정의한다(Equation 6).
• 노드 임베딩으로부터 k번째 민감 속성에 대한 정보를 제거하기 위해 per-attribute 필터 f_k를 학습한다.
• 임베딩으로부터 k번째 속성을 예측하는 적대적 판별기 D_k를 학습하여 적대적 손실(Equation 7)을 형성한다.
• 학습 중 무작위 속성 부분집합 S를 샘플링하기 위해 확률적 Bernoulli 마스킹 방식을 사용하여 보지 못한 조합에 대한 일반화를 촉진한다.
• 에지-예측 손실과 적대적 정규화를 결합하는 공동 최적화를 수행하고, c-enc와 판별기 간의 교대 업데이트를 수행한다.
• 충분한 용량과 정규화 가중치가 주어지면 임베딩과 민감 속성 간의 상호정보량을 0에 가깝게 유도할 수 있다는 이론적 직관을 제공한다.

실험 결과

연구 질문

• RQ1 적대적이고 구성적 프레임워크를 통해 그래프 임베딩에서 다중 민감 속성에 대한 표현 불변성을 강제할 수 있는가?
• RQ2 구성적 접근 방식이 각 속성에 대해 별도로 학습하는 것보다 민감 속성 정보 제거를 더 잘 수행하면서 에지-예측 성능을 심각하게 희생하지 않는가?
• RQ3 모델이 테스트 시점에 보지 못한 민감 속성 조합에 대해 공정성 불변성을 일반화할 수 있는가?
• RQ4 구성적 공정성과 개별 속성별 공정성 강제화는 어떤 차이가 있는가?

주요 결과

• 프레임워크는 불변성과 에지-예측 정확도 사이의 조절 가능한 트레이드오프를 달성하며, 일반적으로 더 많은 불변성은 예측 성능을 감소시킨다.
• 구성적 적대자들은 일부 데이터셋에서 각 속성마다 별도의 적대자를 학습하는 것보다 다중 속성에 대한 정보를 더 많이 제거할 수 있다.
• 이 접근법은 보지 못한 민감 속성 조합에 잘 일반화되며, 큰 속성 설정에서 보류된 조합에 대해 성능 저하가 작음.
• MovieLens-1M 및 Reddit에서 불변성은 임베딩에서 속성 예측 가능성을 거의 제거하는 반면 주요 작업에서 약간의 손실이 발생; Freebase-15k-237에서는 민감 정보 제거가 성능을 해치지 않고는 더 어렵다.
• 경험적 결과는 적대적 정규화를 통한 예측 편향의 감소를 시사하며, 구성적 불변성은 상관된 속성 설정에서 비구성적 접근보다 더 나은 성능을 보일 수 있다.