[논문 리뷰] Towards a Unified Framework for Fair and Stable Graph Representation Learning

Chirag Agarwal, Himabindu Lakkaraju외 1명|arXiv (Cornell University)|2021. 02. 25.

Ethics and Social Impacts of AI인용 수 40

한 줄 요약

논문은 그래프 신경망 표현을 학습시키되 Lipschitz 기반의 아키텍처 정규화 및 Siamese 스타일 증강을 통해 공정성과 안정성을 동시에 달성하는 프레임워크인 Nifty를 소개합니다. 이 프레임워크는 공정성과 안정성 목표를 하나로 통합합니다.

ABSTRACT

As the representations output by Graph Neural Networks (GNNs) are increasingly employed in real-world applications, it becomes important to ensure that these representations are fair and stable. In this work, we establish a key connection between counterfactual fairness and stability and leverage it to propose a novel framework, NIFTY (uNIfying Fairness and stabiliTY), which can be used with any GNN to learn fair and stable representations. We introduce a novel objective function that simultaneously accounts for fairness and stability and develop a layer-wise weight normalization using the Lipschitz constant to enhance neural message passing in GNNs. In doing so, we enforce fairness and stability both in the objective function as well as in the GNN architecture. Further, we show theoretically that our layer-wise weight normalization promotes counterfactual fairness and stability in the resulting representations. We introduce three new graph datasets comprising of high-stakes decisions in criminal justice and financial lending domains. Extensive experimentation with the above datasets demonstrates the efficacy of our framework.

연구 동기 및 목표

• GNN에서 공정성과 perturbation에 대한 강건성을 모두 갖춘 표현의 필요성을 동기화한다.
• 그래프 표현에서 counterfactual 공정성과 안정성 간의 연결고리를 식별한다.
• Nifty를 제안하고 구현하여 임의의 GNN에서 공정하고 안정적인 노드 임베딩을 학습한다.
• Lipschitz 정규화와 공정성 및 안정성 간의 이론적 보장을 제시한다.
• 범죄 정의 및 대출 도메인에서 새로운 고위험 그래프 데이터셋에 대해 Nifty를 경험적으로 검증한다.

제안 방법

• 원래 뷰와 증강된(view) (counterfactual/노이즈) 간 표현 간의 일치를 최대화하는 triplet 기반 목표를 도입한다.
• 노드 속성 교란, counterfactual 민감 속성 플립, 그래프 구조 교란을 통해 증강된 뷰를 생성한다.
• Eq. 3에 따라 원래 임베딩과 증강 임베딩을 정렬하기 위한 Predictor를 포함한 Siamese 학습을 적용한다.
• 임베딩 변화 폭을 제한하기 위해 인코더의 속성(weight) 행렬에 대해 Lipschitz 기반의 계층별 정규화를 도입한다(Eq. 5).
• 계층별 가중치 노름의 곱과 관련된 안정성 및 counterfactual 공정성 경계가 제시되는 이론적 결과를 제공한다.
• 메시지 전달의 공정성과 안정성을 보장하기 위해 Upd-step 가중치를 정규화하여 GNN 아키텍처를 확장한다.

실험 결과

연구 질문

• RQ1 Nifty가 GNN이 공정하고 안정적인 임베딩을 학습하도록 하는가?
• RQ2 Nifty가 counterfactual 공정성 외에도 통계적 격차(parity) 및 동등 기회(equal opportunity)와 같은 그룹 공정성을 달성할 수 있는가?
• RQ3 목표 함수와 아키텍처 모두에서 공정성과 안정성을 강제하는 것이 다운스트림 예측 성능에 어떤 영향을 미치는가?
• RQ4 공정하고 안정적인 예측을 달성하기 위해 아키텍처와 목적 함수의 수정이 필수적인가?

주요 결과

• Nifty는 세 가지 데이터셋에서 다섯 개의 GNN의 공정성과 안정성을 눈에 띄게 개선하며(공정성 평균 92.01%, 안정성 평균 60.87%로 보고됨).
• 프레임워크는 counterfactual 공정성 측면에서 더 공정한 임베딩을 제공하고 통계적 격차 및 동등 기회와 같은 그룹 공정성 지표도 향상시킨다.
• Nifty는 공정성과 안정성을 향상시키는 동안 예측 성능(AUROC 및 F1)을 유지한다.
• 이론적 결과는 Enc의 안정성과 계층별 가중치 노름의 곱과 관련된 counterfactual 불공정성을 경계하고, 아키텍처 정규화가 공정성과 강건성에 연결됨을 보여준다.
• 세 가지 고위험 데이터셋(형사사법 및 금융 대출)에서 실용적 효과를 입증한다.