[논문 리뷰] Learning Fair Representations for Kernel Models

Zilong Tan, Samuel Yeom외 2명|arXiv (Cornell University)|2019. 06. 27.

Ethics and Social Impacts of AI참고 문헌 55인용 수 9

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 충분한 차원 감소(SDR)를 활용하여 커널 기반 모델을 위한 모델 인식형 공정한 표현 학습 방법을 제안한다. 이는 통계적 평등성, 기회의 평등성, 등가의 평등성과 같은 다중 기준에 대해 증명 가능한 공정성 보장을 가능하게 한다. 이 방법은 주된 하위공간 간의 주축 각도로 매개변수화된 공정성-정확도 트레이드오프를 도입하며, 첫 번째 공정한 가우시안 프로세스(FGP) 사전분포를 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Fair representations are a powerful tool for establishing criteria like statistical parity, proxy non-discrimination, and equality of opportunity in learned models. Existing techniques for learning these representations are typically model-agnostic, as they preprocess the original data such that the output satisfies some fairness criterion, and can be used with arbitrary learning methods. In contrast, we demonstrate the promise of learning a model-aware fair representation, focusing on kernel-based models. We leverage the classical Sufficient Dimension Reduction (SDR) framework to construct representations as subspaces of the reproducing kernel Hilbert space (RKHS), whose member functions are guaranteed to satisfy fairness. Our method supports several fairness criteria, continuous and discrete data, and multiple protected attributes. We further show how to calibrate the accuracy tradeoff by characterizing it in terms of the principal angles between subspaces of the RKHS. Finally, we apply our approach to obtain the first Fair Gaussian Process (FGP) prior for fair Bayesian learning, and show that it is competitive with, and in some cases outperforms, state-of-the-art methods on real data.

연구 동기 및 목표

• 커널 방법에 특화된 인도적 편향을 통합함으로써 모델 무관형 공정한 표현 학습의 한계를 해결하기 위해.
• 통합된 커널 기반 프레임워크 내에서 통계적 평등성, 대리 비차별성, 기회의 평등성, 등가의 평등성과 같은 다중 공정성 기준을 보장하는 공정한 표현 학습 프레임워크를 개발하기 위해.
• RKHS 내 하위공간 간의 주축 각도를 사용하여 공정성-정확도 트레이드오프를 공식적으로 특성화하고 제어하기 위해.
• 공정성 구조를 공분산 구조를 통해 보장하는 첫 번째 공정한 가우시안 프로세스(FGP) 사전분포를 구축하기 위해.
• 실세계 데이터셋에서의 실증적 검증을 통해 최신 기술 수준의 접근법에 비해 향상된 공정성과 정확도를 보여주기 위해.

제안 방법

• 방법은 충분한 차원 감소(SDR)를 사용하여 데이터를 보호 속성과 무관한 정보를 담고 있는 RKHS의 하위공간으로 투영함으로써, 약한 조건 하에서 공정성을 보장한다.
• 보호 속성에 대한 SDR 투영의 수직 컴플리먼트로 공정한 하위공간을 구성함으로써, 조건부 평균이 선형인 경우 이들의 독립성을 보장한다.
• 정확도를 유지하기 위해 반응 변수에 대한 SDR를 통해 예측 하위공간을 계산하고, 공정한 하위공간과 예측 하위공간 사이에 주축 각도 매개변수 ε를 사용하여 제3의 모델 하위공간을 정의한다.
• 공정성-정확도 트레이드오프는 하위공간 간의 캐논리컬 각도를 사용하여 공식적으로 특성화되며, 투영 연산자 간의 차이의 연산자 노름이 트레이드오프를 정량화한다.
• GP와 그 RKHS 간의 이중성 특성을 활용하여 공정한 가우시안 프로세스(FGP)의 닫힌 형태 공분산 커널을 유도함으로써, 모든 표본 경로가 모델 하위공간에 속하게 보장한다.
• QR 분해와 고유값 분해를 사용하여 공정한 기저를 계산하는 알고리즘을 구현하였으며, 각 보호 속성과 반응 변수에 대해 별도로 SDR를 적용한다.

실험 결과

연구 질문

• RQ1 커널 모델에 대해 다중 공정성 기준을 증명 가능하게 충족하는 모델 인식형 공정한 표현을 구성할 수 있는가?
• RQ2 커널 기반 학습에서 공정성-정확도 트레이드오프를 공식적으로 특성화하고 제어할 수 있는가?
• RQ3 제안된 프레임워크를 확장하여 공정성 특성을 보장하는 첫 번째 공정한 가우시안 프로세스 사전분포를 구축할 수 있는가?
• RQ4 실세계 데이터에서 결과 모델의 성능은 최신 기술 수준의 방법에 비해 공정성과 정확도 측면에서 어떻게 비교되는가?
• RQ5 주축 각도 매개변수 ε는 공정성과 예측 정확도 사이의 균형에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 RKHS 내에서 보호 속성과의 독립성을 보장함으로써 통계적 평등성, 기회의 평등성, 등가의 평등성과 같은 다중 기준에 대해 공정성을 보장한다.
• 공정한 하위공간과 예측 하위공간 간의 주축 각도를 사용하여 공정성-정확도 트레이드오프를 정밀하게 특성화하였으며, 투영 연산자 간 차이의 연산자 노름은 √(1−γ²_min)로 정량화되었으며, 여기서 γ_min은 최소 캐논리컬 상관관계이다.
• 실세계 데이터셋(UKI 및 COMPAS 포함)에서 최신 기술 수준의 공정한 학습 기반선에 비해 경쟁력 있거나 뛰어난 정확도를 달성한다.
• 공정한 가우시안 프로세스(FGP) 사전분포는 모든 표본 경로가 모델 하위공간에 속하게 보장하는 공분산 커널을 도출함으로써 처음으로 구축되었다.
• 실증 결과는 FGP가 엄격한 공정성 특성을 확보하면서도 예측 정확도를 유지하거나 향상시키며, 여러 벤치마크에서 기존 방법을 능가함을 보여준다.
• 각 보호 속성과 반응 변수에 대해 별도로 SDR를 적용하고 영공간을 계산함으로써 다중, 연속형 또는 이산형 보호 속성을 효율적으로 처리한다.